-
公开(公告)号:CN118799369A
公开(公告)日:2024-10-18
申请号:CN202411288067.X
申请日:2024-09-14
申请人: 湖南大学
IPC分类号: G06T7/33 , G06N3/0464 , G06T5/50
摘要: 本发明公开了一种基于迭代优化的多模态图像配准方法及系统,获取若干张低光照图像并处理,得到训练集和验证集,搭建多模态图像配准神经网络模型,通过训练集对多模态图像配准神经网络模型进行训练,并使用损失函数计算损失,得到训练后的多模态图像配准神经网络模型,使用验证集对训练后的多模态图像配准神经网络模型进行迭代优化并判断是否满足迭代终止条件,得到迭代优化后的多模态图像配准神经网络模型,获取真实场景下的多模态图像并组成待配准图像对,将待配准图像对输入迭代优化后的多模态图像配准神经网络模型处理,得到配准融合后的图像。该方法可提高参考图像和待匹配图像组成的图像对在配准过程中的鲁棒性。
-
公开(公告)号:CN116912302B
公开(公告)日:2023-12-01
申请号:CN202311170392.1
申请日:2023-09-12
申请人: 湖南大学
摘要: 本发明公开了一种基于深度图像配准网络的高精度成像方法及系统,搭建高精度成像系统,包括三轴运动平台、成像模块和载具,载具和成像模块分别固设于三轴运动平台的Y轴和Z轴上,目标产品通过载具固定;通过调整X、Y和Z轴确定成像模块的拍摄路径并对目标产品进行局部拍摄,得到若干张局部图像;采用深度图像配准网络对若干张局部图像中所有两两相邻的图像进行处理,得到每组相邻图像的变换矩阵;将若干张局部图像通过变换矩阵进行转换,并将转换后的局部图像依次填入到预先设计的空白大图中,并将空白大图中相邻图像之间进行融合,
-
公开(公告)号:CN118334112B
公开(公告)日:2024-09-06
申请号:CN202410759620.7
申请日:2024-06-13
申请人: 湖南大学
摘要: 本发明公开了一种同型号多目标工件的抓取位姿估计方法及抓取系统,搭建抓取位姿预测网络,包括特征提取增强模块、场景分割模块和解码预测模块,获取目标工件的模型点云和场景点云,特征提取增强模块对模型点云与场景点云分别进行特征提取和增强,得到第一模型点云特征、第一场景点云特征、第二模型点云特征和第二场景点云特征,将第一模型点云特征和第一场景点云特征输入场景分割模块,从第一场景点云特征中提取出同型号多个目标工件对应的点云特征,将第二模型点云特征、第二场景点云特征和同型号多个目标工件对应的点云特征输入解码预测模块处理并使用非极大值抑制,得到每个目标工件的估计抓取位姿。该方法能够有效识别场景中的待抓取工件。
-
公开(公告)号:CN115965628B
公开(公告)日:2023-06-02
申请号:CN202310255890.X
申请日:2023-03-16
申请人: 湖南大学
摘要: 本发明公开了一种工件涂装质量在线动态检测方法及检测系统,采集待检测工件的图像数据并预处理,筛选出待检测工件摆动幅度最大时的点云数据,通过点云配准方法得到第一目标位姿,控制机械臂带动末端执行机构前往第一目标位姿;采用位移传感器实时采集末端执行机构与待检测工件之间的距离信息,并构建实时检测平面坐标系作为第二目标位姿,控制机械臂带动末端执行机构实时到达第二目标位姿;采用光纤传感器检测末端执行机构与待检测工件的贴合状态,当末端执行机构与待检测工件贴合后,通过吸盘吸气,将末端执行机构吸附到待检测工件表面,末端执行机构上的涂装质量检测模块对待检测工件进行涂装质量检测。该方法可实现工件涂装质量在线动态检测。
-
公开(公告)号:CN115578460B
公开(公告)日:2023-04-18
申请号:CN202211407718.3
申请日:2022-11-10
申请人: 湖南大学
IPC分类号: G06T7/73 , G06N3/045 , G06N3/0464 , G06N3/084 , G06V10/44 , G06V10/766 , G06V10/80 , G06V10/82 , B25J9/16 , B25J19/02
摘要: 本发明公开了基于多模态特征提取与稠密预测的机器人抓取方法与系统,获取场景彩色图像和深度图像,从深度图像中计算出场景三维点云以及不同尺度的自适应卷积感受野,根据场景三维点云得到表面法向量图像;构建多模态特征提取与稠密预测网络,并对场景彩色图像和表面法向量图像进行处理,得到每类物体预测的稠密三维姿态信息和三维位置信息,通过计算得到对应物体的三维姿态和三维位置,两者共同组成三维位姿,将三维位姿发送至机器人抓取系统,完成场景下对应物体的抓取任务。本发明方法融合多模态彩色与深度数据,特征提取中保留二维平面特性以及深度信息,结构简单、预测精度高,适合复杂场景的机器人抓取任务。
-
公开(公告)号:CN115965628A
公开(公告)日:2023-04-14
申请号:CN202310255890.X
申请日:2023-03-16
申请人: 湖南大学
摘要: 本发明公开了一种工件涂装质量在线动态检测方法及检测系统,采集待检测工件的图像数据并预处理,筛选出待检测工件摆动幅度最大时的点云数据,通过点云配准方法得到第一目标位姿,控制机械臂带动末端执行机构前往第一目标位姿;采用位移传感器实时采集末端执行机构与待检测工件之间的距离信息,并构建实时检测平面坐标系作为第二目标位姿,控制机械臂带动末端执行机构实时到达第二目标位姿;采用光纤传感器检测末端执行机构与待检测工件的贴合状态,当末端执行机构与待检测工件贴合后,通过吸盘吸气,将末端执行机构吸附到待检测工件表面,末端执行机构上的涂装质量检测模块对待检测工件进行涂装质量检测。该方法可实现工件涂装质量在线动态检测。
-
公开(公告)号:CN118262127A
公开(公告)日:2024-06-28
申请号:CN202410264714.7
申请日:2024-03-08
申请人: 湖南大学
IPC分类号: G06V10/75 , G06V10/22 , G06V10/24 , G06V10/26 , G06V10/46 , G06V10/74 , G06V10/82 , G06V20/17
摘要: 一种基于数据预处理的无人机图像匹配定位方法,包括:1、读取无人机相机及机载平台输出的文件数据以及拍摄的图像;2、下载卫星地图;3、对卫星地图进行预处理,并划定待匹配区域;计算图像旋转角度,并对无人机拍摄图像进行旋转矫正;4、根据划定的待匹配区域的坐标信息,对卫星地图进行裁剪,并将裁剪后的图作为图像匹配的卫星地图;5、提取无人机图像和卫星底图的特征点并检测,计算每个特征点的描述子;输出检测到的特征点的坐标和相应的描述子;6、执行特征点匹配,输出匹配结果。本发明解决了全局特征匹配中,对初始区域估计敏感、计算复杂度高的问题和局部特征匹配中,由于不同的图像可能出现多个最优匹配,使匹配结果不稳定的问题。
-
公开(公告)号:CN117152644A
公开(公告)日:2023-12-01
申请号:CN202311239554.2
申请日:2023-09-25
申请人: 湖南大学 , 江西省通讯终端产业技术研究院有限公司
IPC分类号: G06V20/17 , G06V10/25 , G06V10/774 , G06V10/764 , G06V10/77 , G06V10/80 , G06V10/82
摘要: 本发明涉及无人系统目标检测技术领域,具体为一种无人机航拍照片的目标检测方法,包括:1、构建训练集;2、构建目标检测模型;3、选一图像输入到骨干网络中,得到四类不同尺度的骨干网络特征图;4、将3的输出结果进行特征融合,得到四类融合特征图;5、将第四类融合特征图输入到CVAN模块中,最终得到第四类输出特征图;6、将5的输出结果输入到目标检测头中,计算得到目标的分类信息等信息;重复3至5,直至迭代至设定次数,选取最好的一组权重结果,得到训练后的目标检测模型。本发明引入了变换器,无人机图像中包含许多密集的微小物体,引入变换器可以有效增强每个微小物体的语义可分辨性,有效减少漏检和误检。
-
公开(公告)号:CN116912302A
公开(公告)日:2023-10-20
申请号:CN202311170392.1
申请日:2023-09-12
申请人: 湖南大学
摘要: 本发明公开了一种基于深度图像配准网络的高精度成像方法及系统,搭建高精度成像系统,包括三轴运动平台、成像模块和载具,载具和成像模块分别固设于三轴运动平台的Y轴和Z轴上,目标产品通过载具固定;通过调整X、Y和Z轴确定成像模块的拍摄路径并对目标产品进行局部拍摄,得到若干张局部图像;采用深度图像配准网络对若干张局部图像中所有两两相邻的图像进行处理,得到每组相邻图像的变换矩阵;将若干张局部图像通过变换矩阵进行转换,并将转换后的局部图像依次填入到预先设计的空白大图中,并将空白大图中相邻图像之间进行融合,得到目标产品的高精度完整图像。该方法可节省相邻的两个局部图像的特征配准时间且系统的成本低。
-
公开(公告)号:CN118799369B
公开(公告)日:2024-11-15
申请号:CN202411288067.X
申请日:2024-09-14
申请人: 湖南大学
IPC分类号: G06T7/33 , G06N3/0464 , G06T5/50
摘要: 本发明公开了一种基于迭代优化的多模态图像配准方法及系统,获取若干张低光照图像并处理,得到训练集和验证集,搭建多模态图像配准神经网络模型,通过训练集对多模态图像配准神经网络模型进行训练,并使用损失函数计算损失,得到训练后的多模态图像配准神经网络模型,使用验证集对训练后的多模态图像配准神经网络模型进行迭代优化并判断是否满足迭代终止条件,得到迭代优化后的多模态图像配准神经网络模型,获取真实场景下的多模态图像并组成待配准图像对,将待配准图像对输入迭代优化后的多模态图像配准神经网络模型处理,得到配准融合后的图像。该方法可提高参考图像和待匹配图像组成的图像对在配准过程中的鲁棒性。
-
-
-
-
-
-
-
-
-