公开(公告)号：CN115328626A

公开(公告)日：2022-11-11

申请号：CN202210912229.7

申请日：2022-07-29

申请人： 浙江网安信创电子技术有限公司

发明人： 赵晶骉 ,  周杨 ,  陈锡幸 ,  王淳 ,  谢作樟

IPC分类号： G06F9/48 ,  G06F9/50 ,  G06F16/25 ,  G06F16/27

摘要： 本发明公开了一种支持流批一体的大数据引擎分布式任务调度方法，具体涉及计算机领域，包括S1、多集群接入管理；S2、构建工作流DAG流程；S3、工作流实例回溯与控制和S4、作业实例数据处理反馈结果审计。本发明使数据开发人员可以通过可视化操作接入多个集群，实现任务分布式调度，合理并充分使用大数据资源；通过拖拽连线多个作业组件构建DAG工作流，合并数据处理任务，执行统一的ETL周期调度；留存工作流执行的DAG流程实例，基于工作流实例实现DAG流程的重跑、暂停、停止、恢复失败、恢复暂停、恢复停止等重新部署的动态化控制；留存作业的实例，直观表现大数据任务的反馈结果，便于数据开发者排查异常程序或任务。