公开(公告)号：CN104915407A

公开(公告)日：2015-09-16

申请号：CN201510297019.1

申请日：2015-06-03

Applicant: 华中科技大学

Inventor： 王芳 ,  冯丹 ,  杨静怡 ,  潘佳艺 ,  周俊

IPC: G06F17/30 ,  G06F9/48 ,  G06F11/14

CPC classification number: G06F17/30575 ,  G06F9/4843 ,  G06F9/4881 ,  G06F11/1461

Abstract: 本发明公开了一种基于Hadoop多作业环境下的资源调度方法，包括：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，(2)实时采集集群各计算节点上用户的作业执行监控信息，(3)汇总集群三方监控数据，建模评估节点的计算能力，并将集群节点划分为优势计算节点和劣势计算节点，(4)若节点为优势计算节点，则启动基于相似度评估的作业任务资源需求配置策略，(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略。本发明解决了Yarn现有资源调度器中任务资源需求划分粒度过大导致的资源碎片问题，能够综合考虑集群节点和作业的异构性，通过合理、有效地分配节点资源增加集群执行并发度，从而提高Hadoop集群多作业的执行效率。

公开(公告)号：CN104915407B

公开(公告)日：2018-06-12

申请号：CN201510297019.1

申请日：2015-06-03

Applicant: 华中科技大学

Inventor： 王芳 ,  冯丹 ,  杨静怡 ,  潘佳艺 ,  周俊

IPC: G06F17/30 ,  G06F9/48 ,  G06F11/14

Abstract: 本发明公开了一种基于Hadoop多作业环境下的资源调度方法，包括：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，(2)实时采集集群各计算节点上用户的作业执行监控信息，(3)汇总集群三方监控数据，建模评估节点的计算能力，并将集群节点划分为优势计算节点和劣势计算节点，(4)若节点为优势计算节点，则启动基于相似度评估的作业任务资源需求配置策略，(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略。本发明解决了Yarn现有资源调度器中任务资源需求划分粒度过大导致的资源碎片问题，能够综合考虑集群节点和作业的异构性，通过合理、有效地分配节点资源增加集群执行并发度，从而提高Hadoop集群多作业的执行效率。