公开(公告)号：CN111858569A

公开(公告)日：2020-10-30

申请号：CN202010616966.3

申请日：2020-07-01

申请人： 长江岩土工程总公司(武汉) ,  长江勘测规划设计研究有限责任公司

发明人： 韩旭 ,  于起超 ,  马贵生 ,  罗登昌 ,  马丹璇

IPC分类号： G06F16/215 ,  G06F16/25

摘要： 本发明基于流式计算的海量数据清洗的方法，包括如下步骤：异构数据源通过数据接入模块统一接入数据，并以统一的格式推送入消息队列Kafka中，等待数据清洗，并将接入情况反馈给调度中心；配置清洗算子和设计算子流程图；计算集群中的计算节点与调度中心通信，调用算子流程图，按照设计的算子流程图的流程进行清洗操作，并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据，通过Kafka将数据源格式进行统一，方便数据清洗统一处理。多个计算节点采用分布式并列形式部署，能够根据需求动态横向扩展，面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作，具有很强的通用性。

公开(公告)号：CN111858569B

公开(公告)日：2024-09-20

申请号：CN202010616966.3

申请日：2020-07-01

申请人： 长江岩土工程有限公司 ,  长江勘测规划设计研究有限责任公司

发明人： 韩旭 ,  于起超 ,  马贵生 ,  罗登昌 ,  马丹璇

IPC分类号： G06F16/215 ,  G06F16/25

摘要： 本发明基于流式计算的海量数据清洗的方法，包括如下步骤：异构数据源通过数据接入模块统一接入数据，并以统一的格式推送入消息队列Kafka中，等待数据清洗，并将接入情况反馈给调度中心；配置清洗算子和设计算子流程图；计算集群中的计算节点与调度中心通信，调用算子流程图，按照设计的算子流程图的流程进行清洗操作，并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据，通过Kafka将数据源格式进行统一，方便数据清洗统一处理。多个计算节点采用分布式并列形式部署，能够根据需求动态横向扩展，面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作，具有很强的通用性。