一种基于文本指导的零样本表面缺陷分割方法

    公开(公告)号:CN119785026A

    公开(公告)日:2025-04-08

    申请号:CN202411837558.5

    申请日:2024-12-13

    Applicant: 东北大学

    Abstract: 本发明属于表面缺陷检测技术领域,公开一种基于文本指导的零样本表面缺陷分割方法。引入人类提供的文本信息作为辅助信息,从而实现更准确的零样本表面缺陷分割;通过基于注意力的多级特征融合模块融合多层次图像特征,形成更全面的特征表示;通过多模态特征自适应平衡模块融合对齐文本与图像特征,提高模型的泛化能力;基于对齐的特征获得先验的图像‑文本相关性图,用以指导解码器进行解码,在缺少标记样本的条件下,实现了目标缺陷的像素级分割。本发明在零样本条件下能够有效分割表面缺陷,比现有基准更接近真值标签。

    一种管道巡检机器人及巡检方法

    公开(公告)号:CN114738595B

    公开(公告)日:2023-03-21

    申请号:CN202210363211.6

    申请日:2022-04-07

    Applicant: 东北大学

    Abstract: 本发明提供一种管道巡检机器人,包括检测装置、位姿调整装置和用于沿管道内壁移动的行走机构;位姿调整装置的固定端安装在支撑平台上,位姿调整装置的位姿输出端与检测装置连接;检测装置包括安装支架和四个以上的相机,安装支架的第一端与位姿调整装置的位姿输出端固定连接,安装支架的第二端伸出位姿调整装置的位姿输出端,该四个以上的相机均固定安装在安装支架的第二端,并且该四个以上的相机围绕安装支架第二端的朝向方向呈均匀环状布置;管道巡检机器人巡检过程中,每一个相机的镜头均朝向管道的内壁,以实现沿管道截面方向的360°全向检测。本发明还提出一种上述管道巡检机器人的巡检方法。

    一种同时分割和检测抓取位姿的多模态特征融合方法

    公开(公告)号:CN116385546A

    公开(公告)日:2023-07-04

    申请号:CN202310579747.6

    申请日:2023-05-23

    Applicant: 东北大学

    Abstract: 本发明提供一种同时分割和检测抓取位姿的多模态特征融合方法,涉及机器人抓取位姿检测技术领域。本发明设计了一种点云图像协同指导的融合模块,模块不仅能够融合点云和图像特征,还能突出其中关键的特征对并抑制非感兴趣区域的特征。算法的预测过程从对融合特征进行前景点分割开始,然后设计一种同时考虑语义信息、距离信息、抓取置信度的种子点采样算法,生成质量更高的种子点。然后根据选定的种子点进行抓取位姿预测。本发明能够充分利用点云和图像信息,通过多模态特征来促进分割和抓取检测的性能,以服务于服务机器人、工业机器人等应用场景。

    一种涡扇航空发动机首级扇叶表面缺陷检测装置

    公开(公告)号:CN114660074A

    公开(公告)日:2022-06-24

    申请号:CN202210306860.2

    申请日:2022-03-25

    Applicant: 东北大学

    Abstract: 本发明涉及航空发动机检测设备技术领域,尤其涉及一种涡扇航空发动机首级扇叶表面缺陷检测装置。本发明的提供的一种涡扇航空发动机首级扇叶表面缺陷检测装置,由于设有用于采集首级扇叶中每个叶片的正面及背面图像的图像采集处理组件、用于带动图像采集处理组件横向移动、升降运动以及伸缩运动的图像驱动机构、用于拨动首级扇叶中的叶片的拨动组件、用于带动拨动组件转动以及伸缩运动的拨动驱动机构以及用于承载图像驱动机构和拨动驱动机构,并带动图像驱动机构和拨动驱动机构移动的承载机构,因此结构简单、操作便捷,实现了涡扇航空发动机首级扇叶表面缺陷检测过程的自动化,提高了工作效率,节约成本。

    一种基于密度的自适应混合点云场景识别方法

    公开(公告)号:CN119785341A

    公开(公告)日:2025-04-08

    申请号:CN202411878571.5

    申请日:2024-12-19

    Applicant: 东北大学

    Abstract: 本发明属于计算机视觉技术领域,公开了一种基于密度的自适应混合点云场景识别方法。首先,设计一个两阶段近邻点搜索模块,基于密度动态调整不同分布的点云的邻域大小。在此基础上,提出一个动态局部特征聚合网络,结合密度驱动的邻接矩阵,确保精确提取局部细节。此外,进一步提出一种高效的对比增强线性注意力网络,使模型能够捕获更具判别性的全局上下文特征,更好地进行场景建模。最后,结合体素特征提取来抵抗局部噪声干扰,并将逐点特征融合到体素特征中,来补偿体素化过程带来的细节损失。在数据集上的大量实验表明,本发明实现了最先进的点云场景识别结果,具有出色的鲁棒性和泛化性,验证了算法的有效性。

    一种基于人机混合策略的工业表面缺陷分割方法

    公开(公告)号:CN117635553A

    公开(公告)日:2024-03-01

    申请号:CN202311546462.9

    申请日:2023-11-20

    Applicant: 东北大学

    Abstract: 本发明属于工业缺陷检测技术领域,提出一种基于人机混合策略的工业表面缺陷分割方法。通过人工输入无缺陷图像或指导文本,构建一个可提示的工业场景缺陷分割任务,基于无缺陷图像指导模块和文本指导模块,以无缺陷的图像或文本作为指导信息,最终获得工业表面缺陷分割结果;对于未见过的工业场景中的未见过的类别,使用无缺陷图像作为指导信息;对于见过的工业场景中见过的类别,使用指导文本作为指导信息。本发明通过以上两种策略该模型可以有效地解决工业缺陷检测领域中缺陷样本稀缺和模型适应性较差的问题,有效提升工业缺陷分割系统的研发周期和研发成本。

    一种涡扇航空发动机首级扇叶表面缺陷检测装置

    公开(公告)号:CN114660074B

    公开(公告)日:2025-03-07

    申请号:CN202210306860.2

    申请日:2022-03-25

    Applicant: 东北大学

    Abstract: 本发明涉及航空发动机检测设备技术领域,尤其涉及一种涡扇航空发动机首级扇叶表面缺陷检测装置。本发明的提供的一种涡扇航空发动机首级扇叶表面缺陷检测装置,由于设有用于采集首级扇叶中每个叶片的正面及背面图像的图像采集处理组件、用于带动图像采集处理组件横向移动、升降运动以及伸缩运动的图像驱动机构、用于拨动首级扇叶中的叶片的拨动组件、用于带动拨动组件转动以及伸缩运动的拨动驱动机构以及用于承载图像驱动机构和拨动驱动机构,并带动图像驱动机构和拨动驱动机构移动的承载机构,因此结构简单、操作便捷,实现了涡扇航空发动机首级扇叶表面缺陷检测过程的自动化,提高了工作效率,节约成本。

    一种面向复杂桌面场景的未知物体实例分割方法

    公开(公告)号:CN116883665A

    公开(公告)日:2023-10-13

    申请号:CN202310897901.4

    申请日:2023-07-21

    Applicant: 东北大学

    Abstract: 本发明提供一种面向复杂桌面场景的未知物体实例分割方法,涉及实例分割技术领域,针对桌面场景中存在的物体形状尺度变化、物体间相互遮挡、未知目标物体等情况,首先提出了一种深度度量学习网络,它包含多级特征融合和多尺度特征预测。然后提出了一个特征融合模块来有效地融合互补的颜色和深度信息。注意力机制和跳跃连接可以提高融合后特征图的表征能力。通过在特征提取的不同分辨率阶段部署特征融合模块,提高神经网络对物体尺寸变化的鲁棒性。最后,本发明设计了一个包含多尺度度量学习机制的损失函数,该函数考虑了不同特征层级的特征嵌入距离,在多个尺度上计算类内和类间距离,提高了网络对度量距离的学习能力。

    一种基于从像素到全局双边指导网络的少样本缺陷检测方法

    公开(公告)号:CN115908314A

    公开(公告)日:2023-04-04

    申请号:CN202211438975.3

    申请日:2022-11-17

    Applicant: 东北大学

    Abstract: 本发明公开了一种基于从像素到全局双边指导网络的少样本缺陷检测方法,涉及图像识别领域,为了建立准确的像素级对应关系,采用了一种交互式特征加权方案,由两个互补分支组成,分别对前景和背景图像的自依赖性和相互依赖性进行建模,克服纹理偏移、前景和背景相似度高的问题,再通过全局双边语义指导的方式建立全局双边对应关系,进一步提高模型的鲁棒性,解决样本缺陷检测算法对大规模数据集的依赖,实现对未见过缺陷类别进行准确分割,以克服生产制造中的罕见缺陷类型的无法被检测的问题。

    一种基于最优双边特征运输网络的少样本缺陷分割方法

    公开(公告)号:CN115588101A

    公开(公告)日:2023-01-10

    申请号:CN202211323255.2

    申请日:2022-10-27

    Applicant: 东北大学

    Abstract: 本发明公开了一种基于最优双边特征运输网络的少样本缺陷分割方法,涉及缺陷检测领域;根据获取待测材料的指导图像、查询图像,通过多尺度特征提取网络,获取多尺度支持特征、多尺度查询特征及多尺度背景特征;通过像素级双边语义指导网络,获取最优前景相关张量;通过全局双边语义指导网络,获取最优背景相关张量;在通道域中连接最优前景相关张量和最优背景相关张量,获取多尺度最优双边相关张量;基于多尺度最优双边相关张量,通过相关性分析网络卷积层获取所述待测材料所对应的预测分割掩码图像;提高对未见过材料缺陷的分割精度和泛化能力,降低缺陷分割算法对大规模数据集的依赖,提升缺陷分割算法的部署效率,减少开发周期。

Patent Agency Ranking