流式数据的处理方法和装置
摘要:
本发明涉及一种流式数据处理方法和装置,该方法包括以下步骤:按照时间维度将接收到的流式数据执行分片操作,得到多个数据片;根据时间窗口长度信息对各数据片执行添加头部数据集的操作,得到具有头部的分布式数据集;对所述具有头部的分布式数据集执行批处理操作;将批处理操作之后的具有头部的分布式数据集数据执行去头部数据操作,得到去除了头部的数据片。本发明实施例既能保证关联数据的完整性从而不会造成部分计算结果的缺失,而且去除了冗余数据而使得数据计算性能提高。
公开/授权文献
0/0