一种任务调度方法、系统及装置
摘要:
本发明公开了一种任务调度方法、系统及装置,应用于Hadoop架构中,包括:处理节点向主节点提交申请映射(Map)任务的请求;主节点接收到申请Map任务的请求后,在为处理节点分配Map任务的过程中,将一个作业(Job)中处理节点的本地Map任务分配给处理节点后,在未达到处理节点的最多Map任务分配数的情况下,选定下一个Job,为处理节点继续分配本地Map任务。本发明在将一个Job中处理节点的本地Map任务分配给处理节点后,在未达到处理节点的最大Map任务分配数的情况下,选定下一个Job为处理节点分配本地Map任务,提高了多Job运行时的Map任务本地化执行率,降低了网络开销。
公开/授权文献
0/0