分布式调度方法及装置、电子设备以及计算机存储介质
摘要:
提供分布式调度方法及装置、电子设备以及计算机存储介质,其中,分布式调度方法用于对大数据平台中的任务进行调度,所述分布式调度方法包括如下步骤:步骤S1,确定需要调度的计算任务的范围,生成初始任务集合;步骤S2,将所有初始任务集合中的任务的上游引用对象的任务进行层层统计,并按上下游顺序进行排列;步骤S3,对每个任务的内存和处理器开销进行估算,通过资源开销评估算法计算各自分值,并按照分值进行排序以生成执行任务集合;步骤S4,将所述执行任务集合中的所述任务,分配到所述大数据平台的多个计算节点以由多个所述计算节点执行各自的任务。根据本发明的分布式调度方法,进行分配控制和开销测算,解决了资源浪费情况。
0/0