公开(公告)号：CN117763107A

公开(公告)日：2024-03-26

申请号：CN202311773770.5

申请日：2023-12-21

申请人： 合肥中科融道智能科技有限公司

发明人： 张洁 ,  王启其 ,  刘术娟 ,  李瑞 ,  杜健铭 ,  陈红波 ,  张辉 ,  陶孟元

IPC分类号： G06F16/332 ,  G06F16/33 ,  G06V20/00 ,  G06V10/44 ,  G06V10/74 ,  G06V10/82 ,  G06N3/045

摘要： 本发明涉及一种基于图文问答多模态模型的电力缺陷图像检测方法，与现有技术相比解决了电力缺陷图像检测中场景复杂、缺陷种类多以及小的深度学习目标检测模型多、乱、杂、交互性低的缺陷。本发明包括以下步骤：多模态数据集的获取；电力缺陷知识数据集的获取；图文问答多模态模型的构建；图文问答多模态模型的训练；电力缺陷图像检测结果的获得。本发明通过创建多模态电力缺陷领域中文数据集，增加了模型电力缺陷领域的图文知识；融合LoRA和Q‑Former方法微调模型，降低模型参数量，提高模型对电力缺陷视觉和语义特征的提取能力，对齐了视觉与语义信息。