一种分布式数据集成作业调度方法及装置
摘要:
本发明涉及一种分布式数据集成作业调度方法及装置,本发明针对数据集成可能面临的特殊场景,由作业调度装置负责将数据集成作业下发到作业运行装置,作业运行装置接收调度任务并启动作业执行,并将作业运行的状态信息并发送给反馈给作业管理模块,将工作节点计算资源反馈给资源调度模块,将失联或故障信息反馈给作业预加载模块。本发明具备如下综合特点:(1)高可用与故障容错,弱一致性;(2)面向准实时作业调度的低延迟特性;(3)面向云服务应用的多租户并发控制;(4)计算资源隔离与多作业并行调度;(5)优先调度机制。
公开/授权文献
0/0