Invention Grant
- Patent Title: 针对模型训练的调度方法、装置、电子设备和存储介质
-
Application No.: CN202210532762.0Application Date: 2022-05-16
-
Publication No.: CN114911596BPublication Date: 2023-04-28
- Inventor: 白扬帆 , 沈亮 , 巩伟宝 , 吴志华 , 于佃海
- Applicant: 北京百度网讯科技有限公司
- Applicant Address: 北京市海淀区上地十街10号百度大厦2层
- Assignee: 北京百度网讯科技有限公司
- Current Assignee: 北京百度网讯科技有限公司
- Current Assignee Address: 北京市海淀区上地十街10号百度大厦2层
- Agency: 中科专利商标代理有限责任公司
- Agent 吕朝蕙
- Main IPC: G06F9/48
- IPC: G06F9/48 ; G06F12/0875 ; G06F12/0866 ; G06N3/08
Abstract:
本公开提供了一种针对模型训练的调度方法、装置、电子设备和存储介质,涉及人工智能领域,具体涉及深度学习和云计算领域。针对模型训练的调度方法的具体实现方案为:将待训练模型切分为依次连接的三个模型分区;将依次连接的三个模型分区分别缓存至构成三级缓存空间的三个空间;其中,三个空间包括针对图形处理器的显示内存空间、针对处理器的内存空间和硬盘存储空间;以及在待训练模型的训练过程中,动态调整三个空间各自缓存的模型分区,并调度使得针对三个模型分区的训练以具有交叠的方式执行。其中,针对三个模型分区中每个模型分区的训练涉及参数更新任务;具有交叠的方式包括:针对两个模型分区的训练所涉及的两个参数更新任务被并行执行。
Public/Granted literature
- CN114911596A 针对模型训练的调度方法、装置、电子设备和存储介质 Public/Granted day:2022-08-16
Information query