摘要:
本发明提供一种服务器无感知数据分析的并行调度方法及系统,方法包括:根据优化目标,确定优化目标对应的目标模型;在目标模型为运行时间模型的情况下,获取数据分析作业中的运行时间数据信息和并行度数据信息,确定数据分析作业的各个阶段的运行时间与并行度之间的关系;根据各个阶段的运行时间与并行度之间的关系,拟合获得各个阶段各自的运行时间模型;根据数据分析作业的DAG、各个阶段各自的运行时间模型、计算集群当前可用资源,确定第一并行调度方案;根据第一并行调度方案,控制计算集群中各个服务器上的函数执行模块执行分配到自身所在服务器上的数据分析作业中的任务。旨在提高服务器无感知数据分析的并行调度的性能。
公开/授权文献
- CN116860419A 一种服务器无感知数据分析的并行调度方法及系统 公开/授权日:2023-10-10