公开(公告)号：CN110362390B

公开(公告)日：2021-09-07

申请号：CN201910489422.2

申请日：2019-06-06

申请人： 银江股份有限公司

发明人： 李建元 ,  刘飞黄 ,  王超群 ,  刘兴田 ,  贾建涛 ,  温晓岳

IPC分类号： G06F9/48 ,  G06F16/27

摘要： 本发明涉及一种分布式数据集成作业调度方法及装置，本发明针对数据集成可能面临的特殊场景，由作业调度装置负责将数据集成作业下发到作业运行装置，作业运行装置接收调度任务并启动作业执行，并将作业运行的状态信息并发送给反馈给作业管理模块，将工作节点计算资源反馈给资源调度模块，将失联或故障信息反馈给作业预加载模块。本发明具备如下综合特点：(1)高可用与故障容错，弱一致性；(2)面向准实时作业调度的低延迟特性；(3)面向云服务应用的多租户并发控制；(4)计算资源隔离与多作业并行调度；(5)优先调度机制。

公开(公告)号：CN110362390A

公开(公告)日：2019-10-22

申请号：CN201910489422.2

申请日：2019-06-06

申请人： 银江股份有限公司

发明人： 李建元 ,  刘飞黄 ,  王超群 ,  刘兴田 ,  贾建涛 ,  温晓岳

IPC分类号： G06F9/48 ,  G06F16/27

摘要： 本发明涉及一种分布式数据集成作业调度方法及装置，本发明针对数据集成可能面临的特殊场景，由作业调度装置负责将数据集成作业下发到作业运行装置，作业运行装置接收调度任务并启动作业执行，并将作业运行的状态信息并发送给反馈给作业管理模块，将工作节点计算资源反馈给资源调度模块，将失联或故障信息反馈给作业预加载模块。本发明具备如下综合特点：(1)高可用与故障容错，弱一致性；(2)面向准实时作业调度的低延迟特性；(3)面向云服务应用的多租户并发控制；(4)计算资源隔离与多作业并行调度；(5)优先调度机制。

公开(公告)号：CN110347441A

公开(公告)日：2019-10-18

申请号：CN201910552701.9

申请日：2019-06-25

申请人： 银江股份有限公司

发明人： 李建元 ,  刘飞黄 ,  王超群 ,  刘兴田 ,  贾建涛

IPC分类号： G06F9/445 ,  G06F9/48 ,  G06F9/54

摘要： 本发明涉及一种热扩展数据集成引擎系统及方法，本发明包括驱动子系统、插件子系统和工具子系统；所述驱动子系统接收外部作业提交，解析作业逻辑，驱动插件运行，并处理引擎异常；所述插件子系统由插件集合与插件加载器组成，插件加载器负责插件的加载和热扩展，插件负责执行具体的数据处理逻辑；所述工具子系统提供作业运行所需的共性服务支撑。本发明可以满足所有潜在的场景，适用于异构数据源的适配、复杂的数据治理逻辑等场景，保证了所有作业的正常运行，本发明还具有应对所有复杂数据集成场景的功能扩展能力。