公开(公告)号：CN118796455A

公开(公告)日：2024-10-18

申请号：CN202410772174.3

申请日：2024-06-16

申请人： 浙江省新型互联网交换中心有限责任公司 ,  四川大学

发明人： 张士聪 ,  唐明洁 ,  田景绮 ,  叶正茂 ,  李登淳 ,  胡泽涛 ,  段磊 ,  左劼 ,  顾晨辉

IPC分类号： G06F9/50 ,  G06N3/084

摘要： 本发明属于自然语言处理技术领域，公开了一种针对异构GPU显卡的大语言模型分布式流水并行微调方法，基于多任务微调系统同时对多个LoRA模型实现微调；每个LoRA模型切分为多个部分，分布在相应数量的GPU上，并对GPU进行排序；依据用户请求，通过任务配置模块生成多个任务，并将每个任务划分为若干训练批次；按照每个任务的训练批次顺序，通过任务动态调度器结合动态调度策略生成调度方案；按照GPU正序，将调度方案发送给相应GPU上的多任务训练模块，对所有LoRA模型进行训练。本发明采用精细的模型切分和分配策略、流水线优化路径和任务负载平衡策略，能够更有效地利用多机多卡环境的计算资源，提高微调过程的整体效率，减少资源的浪费。