- 专利标题: 分布式调度方法及装置、电子设备以及计算机存储介质
-
申请号: CN201910564952.9申请日: 2019-06-27
-
公开(公告)号: CN110245023B公开(公告)日: 2020-09-25
- 发明人: 冯若寅 , 万仕龙 , 邹晓峰
- 申请人: 欧冶云商股份有限公司
- 申请人地址: 上海市宝山区漠河路600弄1号5层A501-A507室
- 专利权人: 欧冶云商股份有限公司
- 当前专利权人: 欧冶云商股份有限公司
- 当前专利权人地址: 上海市宝山区漠河路600弄1号5层A501-A507室
- 代理机构: 北京律和信知识产权代理事务所
- 代理商 冷文燕; 项荣
- 优先权: 201910486627.5 2019.06.05 CN
- 主分类号: G06F9/50
- IPC分类号: G06F9/50
摘要:
提供分布式调度方法及装置、电子设备以及计算机存储介质,其中,分布式调度方法用于对大数据平台中的任务进行调度,所述分布式调度方法包括如下步骤:步骤S1,确定需要调度的计算任务的范围,生成初始任务集合;步骤S2,将所有初始任务集合中的任务的上游引用对象的任务进行层层统计,并按上下游顺序进行排列;步骤S3,对每个任务的内存和处理器开销进行估算,通过资源开销评估算法计算各自分值,并按照分值进行排序以生成执行任务集合;步骤S4,将所述执行任务集合中的所述任务,分配到所述大数据平台的多个计算节点以由多个所述计算节点执行各自的任务。根据本发明的分布式调度方法,进行分配控制和开销测算,解决了资源浪费情况。
公开/授权文献
- CN110245023A 分布式调度方法及装置、电子设备以及计算机存储介质 公开/授权日:2019-09-17