发明授权
- 专利标题: 流式数据的处理方法和装置
-
申请号: CN201810929064.8申请日: 2018-08-15
-
公开(公告)号: CN109033439B公开(公告)日: 2019-11-19
- 发明人: 江树浩 , 鄢贵海
- 申请人: 中科驭数(北京)科技有限公司
- 申请人地址: 北京市海淀区科学院南路6号中国科学院计算技术研究所科研综合楼
- 专利权人: 中科驭数(北京)科技有限公司
- 当前专利权人: 中科驭数(北京)科技有限公司
- 当前专利权人地址: 北京市海淀区科学院南路6号中国科学院计算技术研究所科研综合楼
- 代理机构: 北京金咨知识产权代理有限公司
- 代理商 宋教花
- 主分类号: G06F16/2455
- IPC分类号: G06F16/2455 ; G06F16/2458
摘要:
本发明涉及一种流式数据处理方法和装置,该方法包括以下步骤:按照时间维度将接收到的流式数据执行分片操作,得到多个数据片;根据时间窗口长度信息对各数据片执行添加头部数据集的操作,得到具有头部的分布式数据集;对所述具有头部的分布式数据集执行批处理操作;将批处理操作之后的具有头部的分布式数据集数据执行去头部数据操作,得到去除了头部的数据片。本发明实施例既能保证关联数据的完整性从而不会造成部分计算结果的缺失,而且去除了冗余数据而使得数据计算性能提高。
公开/授权文献
- CN109033439A 流式数据的处理方法和装置 公开/授权日:2018-12-18