公开(公告)号：CN118862653A

公开(公告)日：2024-10-29

申请号：CN202410885257.3

申请日：2024-07-03

申请人： 国网四川省电力公司电力科学研究院

发明人： 张凌浩 ,  邝俊威 ,  向思屿 ,  滕予非 ,  常政威 ,  刘洪利 ,  李旭旭 ,  魏阳 ,  庞博 ,  刘昶 ,  毛洋 ,  杜佩珂 ,  刘松嘉 ,  李盛杰

IPC分类号： G06F30/27 ,  G06N3/096 ,  G06N5/022

摘要： 本发明公开了一种基于电力缺陷多模态模型的微调方法、设备和介质，通过获取基于专家评分的微调数据集，微调数据集的类型分布动态构建训练集，构建教师‑学生模型，采用训练集对教师‑学生模型进行训练，采用KL散度对训练后的教师‑学生模型进行模型拟合，得到拟合模型，根据微调数据集和拟合模型，基于InstructBLIP基础架构建立多模态微调模型，对多模态微调模型进行训练和优化，得到优化后的多模态微调模型进行缺陷微调。通过动态构建具有专家知识的训练集，解决了新增数据集存在的数据分布不均衡问题，从而高效率的使用新增的数据集，保证微调后的多模态模型具有高泛化能力和高稳定性。

公开(公告)号：CN118643470A

公开(公告)日：2024-09-13

申请号：CN202411120027.4

申请日：2024-08-15

申请人： 国网四川省电力公司电力科学研究院

发明人： 张凌浩 ,  邝俊威 ,  向思屿 ,  李盛杰 ,  滕予非 ,  常政威 ,  邓创 ,  李亚强 ,  庞博 ,  刘昶 ,  王慧斌 ,  汪洋 ,  文祥 ,  温崇

IPC分类号： G06F18/25 ,  G06N3/0455 ,  G06N3/082 ,  G06N3/084

摘要： 本发明公开了一种电力垂直领域的多模态大模型训练优化方法及装置，涉及电力行业垂域大模型训练技术领域。本发明将剪枝方法注入多模态大模型完成电力垂直领域业务场景的训练，解决大模型训练时权重参数量大、显存要求高、训练时间长和计算资源要求高等问题，通过低秩微调方法对剪枝后的多模态大模型进行微调训练，对剪枝导致的模型精度损失进行补偿，既可以压缩模型大小，使其更适合训练和部署，又能保持大模型强大的泛化能力，得到易于部署的电力领域多模态大模型。