一种数据流处理方法、装置、设备及存储介质
摘要:
本申请公开了一种数据流处理方法、装置、设备及存储介质,涉及数据处理领域,包括:确定基于流处理框架执行流数据处理任务时的任务处理节点,并确定任务处理节点对应的任务处理操作;将任务处理节点对应的任务处理操作进行封装,以构建同一目标数据输出格式的算子组;获取待处理任务的业务需求,并根据业务需求确定待处理任务对应的算子组,以构建对应的流计算拓扑图,利用流计算拓扑图执行待处理任务。通过采用算子组加拓扑图的方式定义流结构,利用算子组将多个操作封装在一起作为独立单元,将数据复杂的处理屏蔽起来,可以在界面上清晰地展示业务操作,并且使用算子组规划业务的流计算拓扑图,简单明了。
0/0