一种基于域迁移和深度补全的物体姿态估计方法

    公开(公告)号:CN113297988B

    公开(公告)日:2024-03-22

    申请号:CN202110592716.5

    申请日:2021-05-28

    申请人: 东南大学

    摘要: 本发明公开了一种基于域迁移和深度补全的物体姿态估计方法,包括以下步骤:1)针对实验场景采集物体姿态估计真实数据集,利用仿真生成器生成物体姿态估计仿真数据集;2)基于领域自适应技术实现仿真数据到真实数据的迁移;3)利用迁移后的物体姿态估计数据集,训练基于感知融合的物体姿态估计网络;4)通过深度相机获取场景的颜色和深度信息,并补全深度信息;5)给定场景中的颜色图和补全后深度图,利用物体姿态估计训练结果,进行目标物体的姿态估计。本发明针对实物域制作数据集困难、深度相机获取深度信息失真等问题,通过域迁移来缓解数据采集与标注成本,使用深度补全来改善深度信息的质量,该方法具有对未知、复杂场景的泛化性能。

    一种面向平面/近似平面工件的喷涂机器人快速智能编程方法

    公开(公告)号:CN109541997B

    公开(公告)日:2020-06-02

    申请号:CN201811323907.6

    申请日:2018-11-08

    申请人: 东南大学

    IPC分类号: G05B19/042

    摘要: 本发明公开了一种面向平面/近似平面工件的喷涂机器人快速智能编程方法,首先采用激光扫描工件表面获得一组原始点云,再截取工件点云,简化点云、滤除噪声点;其次从三维点云中分离出表示喷涂表面的二维平面点云,并进一步提取出点云的多边形边界特征,再进行直线拟合;然后通过多边形拟合、校正、顶点排序等操作提取出喷涂面边界多边形特征;最后进行工件表面全覆盖路径规划。本发明针对平面/近似平面工件的快速、智能化、去示教编程方法,无需繁琐的人工示教过程,通过低成本2D线激光自动扫描提取工件表面特征,以及自动优化生成机器人的全覆盖路径,可有效提高特定工件曲面的喷涂效率和喷涂作业质量。

    一种基于分步优化的多机器人多工位协作点焊作业规划方法

    公开(公告)号:CN111113409A

    公开(公告)日:2020-05-08

    申请号:CN201911146612.0

    申请日:2019-11-21

    申请人: 东南大学

    IPC分类号: B25J9/16 B23K37/02

    摘要: 本发明公开了一种基于分步优化的多机器人多工位协作点焊作业规划方法,包括:对多机器人多工位协作点焊作业优化问题进行描述与分析,并设立约束条件与优化目标,建立多机器人多工位协作点焊作业优化模型;基于任务均衡原则,建立初始分配方案,进行焊点编码分配和遗传算法迭代求解,得到局部最优焊点分配方案;单机器人焊点排序;完成焊点工位分配,得到多机器人多工位协作点焊作业规划方案。本发明提供了一种多机器人协作多工位点焊作业规划方法,解决了多机器人多工位任务规划问题约束和模型复杂、搜索解空间广导致难于求解的问题,提高了算法的搜索能力和收敛速度。

    一种基于3D视觉聚类和匹配的机器人乱序目标分拣方法

    公开(公告)号:CN111091062A

    公开(公告)日:2020-05-01

    申请号:CN201911146390.2

    申请日:2019-11-21

    申请人: 东南大学

    摘要: 本发明公开了一种基于3D视觉聚类和匹配的机器人乱序目标分拣方法,包括:对采集的分拣场景点云滤除分拣场景点云平面,并对堆叠分拣场景进行分割点云平面,得到多个种类的分拣场景点云簇;查询三维点邻域得到各分拣场景点云簇的堆叠状态;估计分拣场景点云中各点的法线,并提取各分拣场景点云簇和目标模型的边缘;生成不同的边缘候选匹配集合,利用Super4PCS粗匹配获取初始位姿,再通过ICP精匹配进行排序识别和位姿估计。本发明通过对物体的三维感知,实现了对具有堆叠、遮挡、乱序等特点的多目标物体的识别、分类和匹配定位,有利于实现工业机器人的自主识别和抓取动作的规划,从而提高搬运、分拣作业的抓取效率和准确程度。

    一种室内移动机器人人机共融导航装置及方法

    公开(公告)号:CN110285813A

    公开(公告)日:2019-09-27

    申请号:CN201910588551.7

    申请日:2019-07-01

    申请人: 东南大学

    IPC分类号: G01C21/20

    摘要: 发明公开了一种室内移动机器人人机共融导航装置及方法。该装置包括:行人建模模块、动态代价地图、全局路径规划器、机器人和室内视觉传感器:行人建模模块用于将行人感知信息转换为全局路径规划器搜索图需要的代价地图;动态代价地图为全局路径规划器提供未来时刻的社会约束信息;全局路径规划器是整个系统的核心,负责接收导航目标位姿和AMCL定位信息,采用“规划-预测-执行”时序周期进行动态规划,在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果;机器人和室内视觉传感器负责全局环境感知,此外机器人移动底盘接收底层运动指令进行移动导航。本发明可以有效、灵活地运用于实际室内环境。

    基于逐步对抗学习的半监督图像实例分割方法

    公开(公告)号:CN109949317A

    公开(公告)日:2019-06-28

    申请号:CN201910168475.4

    申请日:2019-03-06

    申请人: 东南大学

    IPC分类号: G06T7/11 G06N3/04

    摘要: 本发明公开了一种基于逐步对抗学习的半监督图像实例分割方法,包括步骤:1、构建Mask R-CNN实例分割模型;2、基于DCGAN训练Mask R-CNN中的FPN;3、采用标注数据对Mask R-CNN中的其他模块进行初步训练;4、构建判别卷积网络,与Mask R-CNN构成对抗学习网络,通过对抗训练,优化对抗学习网络的参数;5、将判别卷积网络的输出反馈至Mask R-CNN,对实例分割模型进行再训练;6、利用实例分割模型对待分割图像进行分割。该方法利用仅有部分标注图像的样本集进行模型训练,减少了处理样本的工作量,且能够获得较高精确度的分割模型。

    一种基于实时力控的装配机器人全空间柔顺插孔控制方法

    公开(公告)号:CN106335057A

    公开(公告)日:2017-01-18

    申请号:CN201610857074.6

    申请日:2016-09-27

    申请人: 东南大学

    IPC分类号: B25J9/16

    摘要: 本发明公开了一种基于实时力控的装配机器人全空间柔顺插孔控制方法,步骤为:利用六维腕力传感器、实时通信软件包等搭建装配机器人螺栓插孔实时力控系统;采用基于标准位置的重力补偿方法,消除机器人全空间作业时重力分量对六维力传感器读数的影响;通过对插孔任务中接近、寻孔、插入与插入完成四个阶段的受力分析与力/位混合控制策略设计,避免螺栓插孔过程中常见的卡阻与契紧现象,提高机器人插孔作业成功率和效率;在多维力时间序列窗口中采用基于支持向量机的检测器实现寻孔完成状态自动检测,确保寻孔与插孔两个子任务的准确切换。本发明可解决利用常规刚性关节型机器人实现高效率、高准确性的无倒角柔顺插孔装配作业控制问题。

    基于高斯过程模型的建筑物环境传感器测点优化方法

    公开(公告)号:CN103984981A

    公开(公告)日:2014-08-13

    申请号:CN201410223460.0

    申请日:2014-05-23

    申请人: 东南大学

    IPC分类号: G06N3/00

    摘要: 本发明涉及建筑物的分布式环境监测领域,公开了基于高斯过程模型的建筑物环境传感器测点优化方法,步骤为:采用遥操作移动机器人搭载环境测量传感器节点作为移动测量平台,采集未知建筑物内环境参数与测点位置;将采集获取的环境参数作为数据样本,采用高斯过程回归模型拟合环境参数的连续概率分布,并预测未布设测点位置上的测量值;采用贪心算法求解出一组最佳传感器位置集合;将最佳传感器位置集合与建筑物室内主要测点位置补充选取结果相结合,最终得到有限数目、位置最佳的测点分布结果。通过本发明,可解决未知建筑物较大面积内环境测量传感器的最优布设问题,实现用最少的传感器来最有效地重建环境参数场分布,替代传统的经验布设方法。