公开(公告)号：CN115167433A

公开(公告)日：2022-10-11

申请号：CN202210865835.8

申请日：2022-07-22

Applicant: 华南理工大学

Inventor： 胡广华 ,  李浩勤 ,  欧美彤

IPC: G05D1/02

Abstract: 本发明公开了一种融合全局视觉的机器人自主探索环境信息的方法及系统，该方法包括下述步骤：在场景天花板布置鱼眼相机采集全局视觉信息图像；将全局视觉信息图像进行语义分割得到室内语义分割图像结果，对室内语义分割图像结果进行图像二值化处理，提取二值化图像中待探索环境的全局通行区域图像；对全局通行区域图像进行Voronoi图分割，得到基于Voronoi图分割的区域分割结果，对区域分割结果构建全局图结构；基于全局图结构进行TSP求解，获得各Voronoi图分割子区域的全局遍历顺序，计算各节点所需的TSP行驶距离，获取候选边界集，控制移动机器人进行基于边界的自主探索。本发明在能获取大范围室内环境信息，提高了环境信息获取的完整性、可靠性。

公开(公告)号：CN115629066B

公开(公告)日：2025-04-25

申请号：CN202211083707.4

申请日：2022-09-06

Applicant: 华南理工大学

Inventor： 蔡鑫垚 ,  胡广华 ,  李嘉兴 ,  唐辉雄 ,  欧美彤 ,  韦文斐

IPC: G01N21/84 ,  G01N21/01 ,  G06T7/00 ,  G06T7/11 ,  G06T7/246 ,  G06T7/90 ,  G06T7/80 ,  G06T7/73 ,  G06V10/25 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于视觉引导的面向自动配线的方法及装置，装置包括配线作业执行部分、视觉检测部分及驱动控制部分；所述配线作业执行部分包括二维运动平台、旋转辅助机构、一台六自由度的工业机器人和安装在工业机器人末端的夹持器；所述视觉检测部分包括两个工业相机、一个微型相机和图像采集卡；所述驱动控制部分运动控制卡和机器人控制器。本发明采用视觉引导技术实现工业机器人的自动化配线作业，智能化和柔性化程度高，线缆端子的定位和线孔装配的成功率高、灵活性强，可用于线缆自动插接的柔性装配等工业应用场景。

公开(公告)号：CN115167433B

公开(公告)日：2024-03-19

申请号：CN202210865835.8

申请日：2022-07-22

Applicant: 华南理工大学

Inventor： 胡广华 ,  李浩勤 ,  欧美彤

IPC: G05D1/43 ,  G05D1/242 ,  G05D1/243 ,  G05D1/246 ,  G05D1/633 ,  G05D1/644 ,  G05D1/247 ,  G05D1/648 ,  G05D109/10

Abstract: 本发明公开了一种融合全局视觉的机器人自主探索环境信息的方法及系统，该方法包括下述步骤：在场景天花板布置鱼眼相机采集全局视觉信息图像；将全局视觉信息图像进行语义分割得到室内语义分割图像结果，对室内语义分割图像结果进行图像二值化处理，提取二值化图像中待探索环境的全局通行区域图像；对全局通行区域图像进行Voronoi图分割，得到基于Voronoi图分割的区域分割结果，对区域分割结果构建全局图结构；基于全局图结构进行TSP求解，获得各Voronoi图分割子区域的全局遍历顺序，计算各节点所需的TSP行驶距离，获取候选边界集，控制移动机器人进行基于边界的自主探索。本发明在能获取大范围室内环境信息，提高了环境信息获取的完整性、可靠性。

公开(公告)号：CN115629066A

公开(公告)日：2023-01-20

申请号：CN202211083707.4

申请日：2022-09-06

Applicant: 华南理工大学

Inventor： 蔡鑫垚 ,  胡广华 ,  李嘉兴 ,  唐辉雄 ,  欧美彤 ,  韦文斐

IPC: G01N21/84 ,  G01N21/01 ,  G06T7/00 ,  G06T7/11 ,  G06T7/246 ,  G06T7/90 ,  G06T7/80 ,  G06T7/73 ,  G06V10/25 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于视觉引导的面向自动配线的方法及装置，装置包括配线作业执行部分、视觉检测部分及驱动控制部分；所述配线作业执行部分包括二维运动平台、旋转辅助机构、一台六自由度的工业机器人和安装在工业机器人末端的夹持器；所述视觉检测部分包括两个工业相机、一个微型相机和图像采集卡；所述驱动控制部分运动控制卡和机器人控制器。本发明采用视觉引导技术实现工业机器人的自动化配线作业，智能化和柔性化程度高，线缆端子的定位和线孔装配的成功率高、灵活性强，可用于线缆自动插接的柔性装配等工业应用场景。

公开(公告)号：CN115359119A

公开(公告)日：2022-11-18

申请号：CN202210824877.7

申请日：2022-07-14

Applicant: 华南理工大学

Inventor： 胡广华 ,  欧美彤 ,  李浩勤

IPC: G06T7/73 ,  G06V10/26 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06V10/776 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向无序分拣场景的工件位姿估计方法及装置，其中方法包括：获取场景工件的RGB‑D图像；将RGB图输入到目标检测模块中，获得坐标信息；根据坐标信息对所述RGB图像、深度图像进行裁剪，并输入位姿估计模型，获得RGB‑点云融合特征；根据RGB‑点云融合特征获取相机坐标系下的关键点、中心点坐标；对关键点、中心点坐标进行约束；将约束后的关键点、中心点坐标，与预设的模型坐标系下对应的关键点坐标和中心点坐标进行配准，输出目标工件的最终姿态。本发明在模型中引入目标对象的几何特征约束，如预测的关键点和中心点的约束，能够提高预测结果的准确性。本发明可广泛应用于位姿识别技术领域。