一种基于CLIP模型的像素-文本匹配的变压器缺陷检测方法

    公开(公告)号:CN118918095A

    公开(公告)日:2024-11-08

    申请号:CN202411108006.0

    申请日:2024-08-13

    申请人: 安徽大学

    摘要: 一种基于CLIP模型的像素‑文本匹配的变压器缺陷检测方法,属于变压器设备缺陷检测技术领域,解决在没有足够多相关数据集的情况下,如何有效地对变压器进行缺陷检测的问题,本发明将CLIP中原始的图像‑文本匹配转化为像素‑文本匹配,并使用像素‑文本分数图指导变压器缺陷的检测;收集变压器设备的缺陷数据,并将其转化为图像文本对,将其输入到模型中,将多模态数据映射到同一的多模态空间中,提取图像嵌入和用于表示“正常”和“异常”状态的文本嵌入,计算像素‑文本分数图,这些分数图被馈送到FPN图像解码器并使用真实标签进行监督,经过训练后,将模型用于变压器设备缺陷的数据集,得到变压器设备缺陷的最终分割结果。