-
公开(公告)号：CN104915407B
公开(公告)日：2018-06-12
申请号：CN201510297019.1
申请日：2015-06-03
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于Hadoop多作业环境下的资源调度方法，包括：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，(2)实时采集集群各计算节点上用户的作业执行监控信息，(3)汇总集群三方监控数据，建模评估节点的计算能力，并将集群节点划分为优势计算节点和劣势计算节点，(4)若节点为优势计算节点，则启动基于相似度评估的作业任务资源需求配置策略，(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略。本发明解决了Yarn现有资源调度器中任务资源需求划分粒度过大导致的资源碎片问题，能够综合考虑集群节点和作业的异构性，通过合理、有效地分配节点资源增加集群执行并发度，从而提高Hadoop集群多作业的执行效率。
-
公开(公告)号：CN104915407A
公开(公告)日：2015-09-16
申请号：CN201510297019.1
申请日：2015-06-03
Applicant: 华中科技大学
CPC classification number: G06F17/30575 , G06F9/4843 , G06F9/4881 , G06F11/1461
Abstract: 本发明公开了一种基于Hadoop多作业环境下的资源调度方法，包括：(1)实时采集集群负载、Hadoop平台以及硬件三方监控信息，(2)实时采集集群各计算节点上用户的作业执行监控信息，(3)汇总集群三方监控数据，建模评估节点的计算能力，并将集群节点划分为优势计算节点和劣势计算节点，(4)若节点为优势计算节点，则启动基于相似度评估的作业任务资源需求配置策略，(5)若节点为劣势计算节点，则还原为Yarn默认的资源需求配置策略。本发明解决了Yarn现有资源调度器中任务资源需求划分粒度过大导致的资源碎片问题，能够综合考虑集群节点和作业的异构性，通过合理、有效地分配节点资源增加集群执行并发度，从而提高Hadoop集群多作业的执行效率。
-
公开(公告)号：CN104317658B
公开(公告)日：2018-06-12
申请号：CN201410555053.X
申请日：2014-10-17
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种基于MapReduce的负载自适应的任务调度方法，包括：(1)动态监测Hadoop集群负载状态，(2)动态监测集群各执行节点在执行任务过程中产生的软件信息，(3)动态监测集群各执行节点在执行任务过程中的硬件信息，(4)汇总步骤(1)、步骤(2)及步骤(3)中采集的集群各执行节点的负载监控信息、软件监控信息以及硬件监控信息三方监控信息，建模计算集群各执行节点的计算能力，(5)执行集群负载预警功能，并根据集群各执行节点计算能力进行智能任务调度。本发明解决了Hadoop现有调度器对集群资源感知度低、任务分配不合理的问题，提供了一种能够负载自适应的、更科学有效的任务调度方案。
-
公开(公告)号：CN104317658A
公开(公告)日：2015-01-28
申请号：CN201410555053.X
申请日：2014-10-17
Applicant: 华中科技大学
IPC: G06F9/50
Abstract: 本发明公开了一种基于MapReduce的负载自适应的任务调度方法，包括：(1)动态监测Hadoop集群负载状态，(2)动态监测集群各执行节点在执行任务过程中产生的软件信息，(3)动态监测集群各执行节点在执行任务过程中的硬件信息，(4)汇总步骤(1)、步骤(2)及步骤(3)中采集的集群各执行节点的负载监控信息、软件监控信息以及硬件监控信息三方监控信息，建模计算集群各执行节点的计算能力，(5)执行集群负载预警功能，并根据集群各执行节点计算能力进行智能任务调度。本发明解决了Hadoop现有调度器对集群资源感知度低、任务分配不合理的问题，提供了一种能够负载自适应的、更科学有效的任务调度方案。
-
-
-
Search Results
4
records
(took 0.024 seconds)
