发明公开
- 专利标题: 一种支持多任务处理的数据治理链路构建方法
-
申请号: CN202411293166.7申请日: 2024-09-14
-
公开(公告)号: CN118819787A公开(公告)日: 2024-10-22
- 发明人: 何通 , 张亦超 , 辛存生 , 李一萌 , 吴小虎 , 李娜 , 聂宗建 , 李拥杰 , 刘丹丹 , 薛薇
- 申请人: 国网汇通金财(北京)信息科技有限公司 , 国网数字科技控股有限公司
- 申请人地址: 北京市海淀区北清路68号院21号楼三层311室;
- 专利权人: 国网汇通金财(北京)信息科技有限公司,国网数字科技控股有限公司
- 当前专利权人: 国网汇通金财(北京)信息科技有限公司,国网数字科技控股有限公司
- 当前专利权人地址: 北京市海淀区北清路68号院21号楼三层311室;
- 代理机构: 北京智行阳光知识产权代理事务所
- 代理商 黄锦阳
- 主分类号: G06F9/48
- IPC分类号: G06F9/48
摘要:
本发明公开了一种支持多任务处理的数据治理链路构建方法,涉及数据治理链路构建技术领域,包括以下步骤:构建多个任务节点,每个任务节点包括数据输入模块、数据处理模块和数据输出模块;数据输入模块用于从多个数据源获取输入数据,使用SQL脚本描述从数据源中获取输入数据的方式,支持多表联合输入、结果嵌套查询及数据源动态配置。本发明通过多任务联动机制同时处理多个数据治理任务,依据优先级和依赖关系进行灵活调度,提升资源利用效率,通过将治理需求拆分为多个任务,动态调整执行顺序和优先级,避免性能瓶颈,采用模块化和可配置设计,支持任务节点的快速定制和扩展,适应各种复杂的数据治理场景和需求。