公开(公告)号：CN108228356A

公开(公告)日：2018-06-29

申请号：CN201810006502.3

申请日：2018-01-04

Applicant: 华中科技大学

Inventor： 吴松 ,  刘志毅 ,  金海 ,  陈飞

IPC: G06F9/50

Abstract: 本发明涉及一种流数据的分布式动态处理方法，至少包括：分析并预测用户流数据处理程序数据中至少一个数据特征块的执行模式，基于流数据的平均排队时延的大小以及排队时延的阈值来动态调整所述执行模式，和基于所述执行模式处理对应的至少一个所述数据特征块。本发明通过将流数据计算中不相关的流水线模式和微批模式进行关联，实现了两种模式的自动转换和数据处理，同时具有吞吐量高和延迟低的双重优势。

公开(公告)号：CN108228356B

公开(公告)日：2021-01-15

申请号：CN201810006502.3

申请日：2018-01-04

Applicant: 华中科技大学

Inventor： 吴松 ,  刘志毅 ,  金海 ,  陈飞

IPC: G06F9/50

Abstract: 本发明涉及一种流数据的分布式动态处理方法，至少包括：分析并预测用户流数据处理程序数据中至少一个数据特征块的执行模式，基于流数据的平均排队时延的大小以及排队时延的阈值来动态调整所述执行模式，和基于所述执行模式处理对应的至少一个所述数据特征块。本发明通过将流数据计算中不相关的流水线模式和微批模式进行关联，实现了两种模式的自动转换和数据处理，同时具有吞吐量高和延迟低的双重优势。