发明公开
- 专利标题: 一种数据流处理方法、装置、设备及存储介质
-
申请号: CN202411000475.0申请日: 2024-07-24
-
公开(公告)号: CN118689911A公开(公告)日: 2024-09-24
- 发明人: 梁川川 , 汤乐奇
- 申请人: 杭州安恒信息技术股份有限公司
- 申请人地址: 浙江省杭州市滨江区西兴街道联慧街188号
- 专利权人: 杭州安恒信息技术股份有限公司
- 当前专利权人: 杭州安恒信息技术股份有限公司
- 当前专利权人地址: 浙江省杭州市滨江区西兴街道联慧街188号
- 代理机构: 北京集佳知识产权代理有限公司
- 代理商 宋萌
- 主分类号: G06F16/2455
- IPC分类号: G06F16/2455 ; G06F16/25
摘要:
本申请公开了一种数据流处理方法、装置、设备及存储介质,涉及数据处理领域,包括:确定基于流处理框架执行流数据处理任务时的任务处理节点,并确定任务处理节点对应的任务处理操作;将任务处理节点对应的任务处理操作进行封装,以构建同一目标数据输出格式的算子组;获取待处理任务的业务需求,并根据业务需求确定待处理任务对应的算子组,以构建对应的流计算拓扑图,利用流计算拓扑图执行待处理任务。通过采用算子组加拓扑图的方式定义流结构,利用算子组将多个操作封装在一起作为独立单元,将数据复杂的处理屏蔽起来,可以在界面上清晰地展示业务操作,并且使用算子组规划业务的流计算拓扑图,简单明了。