一种支持多任务处理的数据治理链路构建方法

    公开(公告)号:CN118819787A

    公开(公告)日:2024-10-22

    申请号:CN202411293166.7

    申请日:2024-09-14

    IPC分类号: G06F9/48

    摘要: 本发明公开了一种支持多任务处理的数据治理链路构建方法,涉及数据治理链路构建技术领域,包括以下步骤:构建多个任务节点,每个任务节点包括数据输入模块、数据处理模块和数据输出模块;数据输入模块用于从多个数据源获取输入数据,使用SQL脚本描述从数据源中获取输入数据的方式,支持多表联合输入、结果嵌套查询及数据源动态配置。本发明通过多任务联动机制同时处理多个数据治理任务,依据优先级和依赖关系进行灵活调度,提升资源利用效率,通过将治理需求拆分为多个任务,动态调整执行顺序和优先级,避免性能瓶颈,采用模块化和可配置设计,支持任务节点的快速定制和扩展,适应各种复杂的数据治理场景和需求。