公开(公告)号：CN118643470A

公开(公告)日：2024-09-13

申请号：CN202411120027.4

申请日：2024-08-15

申请人： 国网四川省电力公司电力科学研究院

发明人： 张凌浩 ,  邝俊威 ,  向思屿 ,  李盛杰 ,  滕予非 ,  常政威 ,  邓创 ,  李亚强 ,  庞博 ,  刘昶 ,  王慧斌 ,  汪洋 ,  文祥 ,  温崇

IPC分类号： G06F18/25 ,  G06N3/0455 ,  G06N3/082 ,  G06N3/084

摘要： 本发明公开了一种电力垂直领域的多模态大模型训练优化方法及装置，涉及电力行业垂域大模型训练技术领域。本发明将剪枝方法注入多模态大模型完成电力垂直领域业务场景的训练，解决大模型训练时权重参数量大、显存要求高、训练时间长和计算资源要求高等问题，通过低秩微调方法对剪枝后的多模态大模型进行微调训练，对剪枝导致的模型精度损失进行补偿，既可以压缩模型大小，使其更适合训练和部署，又能保持大模型强大的泛化能力，得到易于部署的电力领域多模态大模型。