一种单视角点云下基于域迁移的机器人抓取位姿检测方法

    公开(公告)号:CN112489117A

    公开(公告)日:2021-03-12

    申请号:CN202011418811.5

    申请日:2020-12-07

    申请人: 东南大学

    IPC分类号: G06T7/70

    摘要: 本发明公开了一种单视角点云下基于域迁移的机器人抓取位姿检测方法,包括以下步骤:1)通过深度相机获取机器人抓取场景的单视角点云;2)对采集到的点云进行预处理;3)在目标点云上进行均匀随机采样并计算局部标架,获取候选抓取位姿;4)以夹持器中心定义新的坐标系,将抓取位姿编码成多通道投影图像;5)构建以多通道抓取图像作为输入,基于生成对抗网络实现从仿真域到实物域无监督域自适应迁移的抓取位姿评价模型;6)构建大尺度仿真物体数据集,并构建实物数据集,对拓抓取检测的方法进行自动标注,形成训练集和测试集。本发明通过无监督域迁移的方式来缓解数据采集与标注的成本,该方法具有对未知、非规则物体的泛化性能。

    一种单视角点云下基于域迁移的机器人抓取位姿检测方法

    公开(公告)号:CN112489117B

    公开(公告)日:2022-11-18

    申请号:CN202011418811.5

    申请日:2020-12-07

    申请人: 东南大学

    IPC分类号: G06T7/70

    摘要: 本发明公开了一种单视角点云下基于域迁移的机器人抓取位姿检测方法,包括以下步骤:1)通过深度相机获取机器人抓取场景的单视角点云;2)对采集到的点云进行预处理;3)在目标点云上进行均匀随机采样并计算局部标架,获取候选抓取位姿;4)以夹持器中心定义新的坐标系,将抓取位姿编码成多通道投影图像;5)构建以多通道抓取图像作为输入,基于生成对抗网络实现从仿真域到实物域无监督域自适应迁移的抓取位姿评价模型;6)构建大尺度仿真物体数据集,并构建实物数据集,对拓抓取检测的方法进行自动标注,形成训练集和测试集。本发明通过无监督域迁移的方式来缓解数据采集与标注的成本,该方法具有对未知、非规则物体的泛化性能。

    动态场景下基于语义分割与图像修复的视觉回环检测方法

    公开(公告)号:CN111696118B

    公开(公告)日:2022-11-15

    申请号:CN202010447355.0

    申请日:2020-05-25

    申请人: 东南大学

    摘要: 一种动态场景下基于语义分割与图像修复的视觉回环检测方法,包括以下步骤:1)在历史图像库中预训练的ORB特征离线词典;2)获取当前RGB图像作为当前帧,利用DANet语义分割网络分割出图像属于动态场景区域;3)利用图像修复网络对已经进行掩膜覆盖的图像进行图像修复;4)将所有历史数据库图像作为关键帧,用当前帧图像与所有关键帧图像逐一进行回环检测判断;5)根据两帧图像词袋向量的相似度和对极几何判断是否构成回环;6)进行判定。本发明可用于在动态作业环境下视觉SLAM中的回环检测,用于解决由于场景中存在作业人员、车辆、巡检机器人等动态目标而导致特征匹配错误以及由于对动态区域分割导致特征点过少而无法正确检测回环的情况。

    动态场景下基于语义分割与图像修复的视觉回环检测方法

    公开(公告)号:CN111696118A

    公开(公告)日:2020-09-22

    申请号:CN202010447355.0

    申请日:2020-05-25

    申请人: 东南大学

    摘要: 一种动态场景下基于语义分割与图像修复的视觉回环检测方法,包括以下步骤:1)在历史图像库中预训练的ORB特征离线词典;2)获取当前RGB图像作为当前帧,利用DANet语义分割网络分割出图像属于动态场景区域;3)利用图像修复网络对已经进行掩膜覆盖的图像进行图像修复;4)将所有历史数据库图像作为关键帧,用当前帧图像与所有关键帧图像逐一进行回环检测判断;5)根据两帧图像词袋向量的相似度和对极几何判断是否构成回环;6)进行判定。本发明可用于在动态作业环境下视觉SLAM中的回环检测,用于解决由于场景中存在作业人员、车辆、巡检机器人等动态目标而导致特征匹配错误以及由于对动态区域分割导致特征点过少而无法正确检测回环的情况。