针对模型训练的调度方法、装置、电子设备和存储介质
Abstract:
本公开提供了一种针对模型训练的调度方法、装置、电子设备和存储介质,涉及人工智能领域,具体涉及深度学习和云计算领域。针对模型训练的调度方法的具体实现方案为:将待训练模型切分为依次连接的三个模型分区;将依次连接的三个模型分区分别缓存至构成三级缓存空间的三个空间;其中,三个空间包括针对图形处理器的显示内存空间、针对处理器的内存空间和硬盘存储空间;以及在待训练模型的训练过程中,动态调整三个空间各自缓存的模型分区,并调度使得针对三个模型分区的训练以具有交叠的方式执行。其中,针对三个模型分区中每个模型分区的训练涉及参数更新任务;具有交叠的方式包括:针对两个模型分区的训练所涉及的两个参数更新任务被并行执行。
Patent Agency Ranking
0/0