公开(公告)号：CN119762847A

公开(公告)日：2025-04-04

申请号：CN202411807858.9

申请日：2024-12-10

Applicant: 西安电子科技大学杭州研究院

Inventor： 高飞 ,  史雅莉 ,  张蓝宁 ,  何立火 ,  秦浩

IPC: G06V10/764 ,  G06V10/40 ,  G06V10/44 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06N3/09 ,  G06T7/00

Abstract: 基于重构引导跨模态对齐的小样本异常检测和分类框架，步骤1：构建重构网络，重构网络将数据集图像重建为完全正常图像，将重构网络的输出和输入进行比较以确定输入图像中的异常信息；步骤2：跨模态对齐网络包含视觉编码器和文本编码器两个分支，通过文本编码器和视觉编码器分别提取文本特征和视觉特征；步骤3：将所述异常信息和所述视觉特征进行注意力融合，输出异常细节信息增强后的视觉特征；步骤4：通过计算步骤2中所述文本特征和步骤3中所述视觉特征之间的相似度，从而判定输入的图像是否异常并获得像素级异常定位结果。本发明实现高精度、强泛化能力和低资源消耗的通用异常检测、定位和分类。