一种基于迭代优化的多模态图像配准方法及系统

    公开(公告)号:CN118799369A

    公开(公告)日:2024-10-18

    申请号:CN202411288067.X

    申请日:2024-09-14

    申请人: 湖南大学

    IPC分类号: G06T7/33 G06N3/0464 G06T5/50

    摘要: 本发明公开了一种基于迭代优化的多模态图像配准方法及系统,获取若干张低光照图像并处理,得到训练集和验证集,搭建多模态图像配准神经网络模型,通过训练集对多模态图像配准神经网络模型进行训练,并使用损失函数计算损失,得到训练后的多模态图像配准神经网络模型,使用验证集对训练后的多模态图像配准神经网络模型进行迭代优化并判断是否满足迭代终止条件,得到迭代优化后的多模态图像配准神经网络模型,获取真实场景下的多模态图像并组成待配准图像对,将待配准图像对输入迭代优化后的多模态图像配准神经网络模型处理,得到配准融合后的图像。该方法可提高参考图像和待匹配图像组成的图像对在配准过程中的鲁棒性。

    一种同型号多目标工件的抓取位姿估计方法及抓取系统

    公开(公告)号:CN118334112B

    公开(公告)日:2024-09-06

    申请号:CN202410759620.7

    申请日:2024-06-13

    申请人: 湖南大学

    摘要: 本发明公开了一种同型号多目标工件的抓取位姿估计方法及抓取系统,搭建抓取位姿预测网络,包括特征提取增强模块、场景分割模块和解码预测模块,获取目标工件的模型点云和场景点云,特征提取增强模块对模型点云与场景点云分别进行特征提取和增强,得到第一模型点云特征、第一场景点云特征、第二模型点云特征和第二场景点云特征,将第一模型点云特征和第一场景点云特征输入场景分割模块,从第一场景点云特征中提取出同型号多个目标工件对应的点云特征,将第二模型点云特征、第二场景点云特征和同型号多个目标工件对应的点云特征输入解码预测模块处理并使用非极大值抑制,得到每个目标工件的估计抓取位姿。该方法能够有效识别场景中的待抓取工件。

    一种工件涂装质量在线动态检测方法及检测系统

    公开(公告)号:CN115965628B

    公开(公告)日:2023-06-02

    申请号:CN202310255890.X

    申请日:2023-03-16

    申请人: 湖南大学

    IPC分类号: G06T7/00 G06T7/11 G06T7/30

    摘要: 本发明公开了一种工件涂装质量在线动态检测方法及检测系统,采集待检测工件的图像数据并预处理,筛选出待检测工件摆动幅度最大时的点云数据,通过点云配准方法得到第一目标位姿,控制机械臂带动末端执行机构前往第一目标位姿;采用位移传感器实时采集末端执行机构与待检测工件之间的距离信息,并构建实时检测平面坐标系作为第二目标位姿,控制机械臂带动末端执行机构实时到达第二目标位姿;采用光纤传感器检测末端执行机构与待检测工件的贴合状态,当末端执行机构与待检测工件贴合后,通过吸盘吸气,将末端执行机构吸附到待检测工件表面,末端执行机构上的涂装质量检测模块对待检测工件进行涂装质量检测。该方法可实现工件涂装质量在线动态检测。

    一种工件涂装质量在线动态检测方法及检测系统

    公开(公告)号:CN115965628A

    公开(公告)日:2023-04-14

    申请号:CN202310255890.X

    申请日:2023-03-16

    申请人: 湖南大学

    IPC分类号: G06T7/00 G06T7/11 G06T7/30

    摘要: 本发明公开了一种工件涂装质量在线动态检测方法及检测系统,采集待检测工件的图像数据并预处理,筛选出待检测工件摆动幅度最大时的点云数据,通过点云配准方法得到第一目标位姿,控制机械臂带动末端执行机构前往第一目标位姿;采用位移传感器实时采集末端执行机构与待检测工件之间的距离信息,并构建实时检测平面坐标系作为第二目标位姿,控制机械臂带动末端执行机构实时到达第二目标位姿;采用光纤传感器检测末端执行机构与待检测工件的贴合状态,当末端执行机构与待检测工件贴合后,通过吸盘吸气,将末端执行机构吸附到待检测工件表面,末端执行机构上的涂装质量检测模块对待检测工件进行涂装质量检测。该方法可实现工件涂装质量在线动态检测。

    一种基于数据预处理的无人机图像匹配定位方法

    公开(公告)号:CN118262127A

    公开(公告)日:2024-06-28

    申请号:CN202410264714.7

    申请日:2024-03-08

    申请人: 湖南大学

    摘要: 一种基于数据预处理的无人机图像匹配定位方法,包括:1、读取无人机相机及机载平台输出的文件数据以及拍摄的图像;2、下载卫星地图;3、对卫星地图进行预处理,并划定待匹配区域;计算图像旋转角度,并对无人机拍摄图像进行旋转矫正;4、根据划定的待匹配区域的坐标信息,对卫星地图进行裁剪,并将裁剪后的图作为图像匹配的卫星地图;5、提取无人机图像和卫星底图的特征点并检测,计算每个特征点的描述子;输出检测到的特征点的坐标和相应的描述子;6、执行特征点匹配,输出匹配结果。本发明解决了全局特征匹配中,对初始区域估计敏感、计算复杂度高的问题和局部特征匹配中,由于不同的图像可能出现多个最优匹配,使匹配结果不稳定的问题。

    一种基于深度图像配准网络的高精度成像方法及系统

    公开(公告)号:CN116912302A

    公开(公告)日:2023-10-20

    申请号:CN202311170392.1

    申请日:2023-09-12

    申请人: 湖南大学

    摘要: 本发明公开了一种基于深度图像配准网络的高精度成像方法及系统,搭建高精度成像系统,包括三轴运动平台、成像模块和载具,载具和成像模块分别固设于三轴运动平台的Y轴和Z轴上,目标产品通过载具固定;通过调整X、Y和Z轴确定成像模块的拍摄路径并对目标产品进行局部拍摄,得到若干张局部图像;采用深度图像配准网络对若干张局部图像中所有两两相邻的图像进行处理,得到每组相邻图像的变换矩阵;将若干张局部图像通过变换矩阵进行转换,并将转换后的局部图像依次填入到预先设计的空白大图中,并将空白大图中相邻图像之间进行融合,得到目标产品的高精度完整图像。该方法可节省相邻的两个局部图像的特征配准时间且系统的成本低。

    一种基于迭代优化的多模态图像配准方法及系统

    公开(公告)号:CN118799369B

    公开(公告)日:2024-11-15

    申请号:CN202411288067.X

    申请日:2024-09-14

    申请人: 湖南大学

    IPC分类号: G06T7/33 G06N3/0464 G06T5/50

    摘要: 本发明公开了一种基于迭代优化的多模态图像配准方法及系统,获取若干张低光照图像并处理,得到训练集和验证集,搭建多模态图像配准神经网络模型,通过训练集对多模态图像配准神经网络模型进行训练,并使用损失函数计算损失,得到训练后的多模态图像配准神经网络模型,使用验证集对训练后的多模态图像配准神经网络模型进行迭代优化并判断是否满足迭代终止条件,得到迭代优化后的多模态图像配准神经网络模型,获取真实场景下的多模态图像并组成待配准图像对,将待配准图像对输入迭代优化后的多模态图像配准神经网络模型处理,得到配准融合后的图像。该方法可提高参考图像和待匹配图像组成的图像对在配准过程中的鲁棒性。