公开(公告)号：CN119624927A

公开(公告)日：2025-03-14

申请号：CN202411756662.1

申请日：2024-12-03

Applicant: 东北大学

Inventor： 张云洲 ,  吴支飞 ,  赵姝颖 ,  金雨昕

IPC: G06T7/00 ,  G06T7/194 ,  G06T7/155 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于图像识别技术领域，公开一种基于原型提示微调视觉基础模型SAM的少样本缺陷检测方法。通过从少量的示例图像‑掩码对中提取关于待分割图像的原型先验信息，以此代替人类的先验指导；面向缺陷数据，从原型先验中提取具有代表性的前景提示点和高置信度的背景提示点(稀疏提示)，以及前景Mask(稠密提示)，作为原型提示，指导视觉基础模型SAM实现更准确的分割；利用原型提示和少量缺陷数据微调视觉基础模型SAM，冻结SAM的提示编码器和图像编码器，并为图像编码器注入LoRA旁路，通过更新LoRA旁路和轻量级掩码解码器的参数，使SAM更好的适应缺陷数据分布。

公开(公告)号：CN119785026A

公开(公告)日：2025-04-08

申请号：CN202411837558.5

申请日：2024-12-13

Applicant: 东北大学

Inventor： 张云洲 ,  金雨昕 ,  单德兴 ,  吴支飞

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06F40/30 ,  G06F18/22 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明属于表面缺陷检测技术领域，公开一种基于文本指导的零样本表面缺陷分割方法。引入人类提供的文本信息作为辅助信息，从而实现更准确的零样本表面缺陷分割；通过基于注意力的多级特征融合模块融合多层次图像特征，形成更全面的特征表示；通过多模态特征自适应平衡模块融合对齐文本与图像特征，提高模型的泛化能力；基于对齐的特征获得先验的图像‑文本相关性图，用以指导解码器进行解码，在缺少标记样本的条件下，实现了目标缺陷的像素级分割。本发明在零样本条件下能够有效分割表面缺陷，比现有基准更接近真值标签。

公开(公告)号：CN117635553A

公开(公告)日：2024-03-01

申请号：CN202311546462.9

申请日：2023-11-20

Applicant: 东北大学

Inventor： 张云洲 ,  单德兴 ,  金雨昕 ,  张腾达 ,  吴支飞 ,  胡自强 ,  刘世同

IPC: G06T7/00 ,  G06T7/194 ,  G06V10/74 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/80

Abstract: 本发明属于工业缺陷检测技术领域，提出一种基于人机混合策略的工业表面缺陷分割方法。通过人工输入无缺陷图像或指导文本，构建一个可提示的工业场景缺陷分割任务，基于无缺陷图像指导模块和文本指导模块，以无缺陷的图像或文本作为指导信息，最终获得工业表面缺陷分割结果；对于未见过的工业场景中的未见过的类别，使用无缺陷图像作为指导信息；对于见过的工业场景中见过的类别，使用指导文本作为指导信息。本发明通过以上两种策略该模型可以有效地解决工业缺陷检测领域中缺陷样本稀缺和模型适应性较差的问题，有效提升工业缺陷分割系统的研发周期和研发成本。