Invention Grant
- Patent Title: 基于流式计算的海量数据清洗的方法
-
Application No.: CN202010616966.3Application Date: 2020-07-01
-
Publication No.: CN111858569BPublication Date: 2024-09-20
- Inventor: 韩旭 , 于起超 , 马贵生 , 罗登昌 , 马丹璇
- Applicant: 长江岩土工程有限公司 , 长江勘测规划设计研究有限责任公司
- Applicant Address: 湖北省武汉市江岸区解放大道1863号;
- Assignee: 长江岩土工程有限公司,长江勘测规划设计研究有限责任公司
- Current Assignee: 长江岩土工程有限公司,长江勘测规划设计研究有限责任公司
- Current Assignee Address: 湖北省武汉市江岸区解放大道1863号;
- Agency: 武汉宇晨专利事务所
- Agent 狄宗禄
- Main IPC: G06F16/215
- IPC: G06F16/215 ; G06F16/25

Abstract:
本发明基于流式计算的海量数据清洗的方法,包括如下步骤:异构数据源通过数据接入模块统一接入数据,并以统一的格式推送入消息队列Kafka中,等待数据清洗,并将接入情况反馈给调度中心;配置清洗算子和设计算子流程图;计算集群中的计算节点与调度中心通信,调用算子流程图,按照设计的算子流程图的流程进行清洗操作,并将清洗运行情况反馈给调度中心。本发明采用分布式消息队列Kafka统一接入数据,通过Kafka将数据源格式进行统一,方便数据清洗统一处理。多个计算节点采用分布式并列形式部署,能够根据需求动态横向扩展,面对大批量数据有很强的鲁棒性。通过拖拽式设计清洗流程可以满足大部分清洗流程工作,具有很强的通用性。
Public/Granted literature
- CN111858569A 基于流式计算的海量数据清洗的方法 Public/Granted day:2020-10-30
Information query