基于视觉的机器人到人物体传递方法、装置、介质及终端
摘要:
本发明公开了一种基于视觉的机器人到人物体传递方法、装置、介质及终端,方法包括:将物体的预设三维模型输入到神经网络模型中进行计算,得到抓握关系信息,基于抓握关系信息计算得到抓取姿态信息;将人手的实时视频信息输入到手势识别算法中进行计算,得到人手像素点坐标,基于人手像素点坐标得到实时的三维人手网格和人手位姿信息;基于实时的三维人手网格规划运动路径,基于所述人手位姿信息判断人手的运动状态,并选择重新规划机器人的运动路径;基于机器人末端的抓取姿态信息和机器人的运动路径依次完成物体的抓取、交付和释放,将物体传递到人手中;本发明可生成最适合人手的抓取姿态,即使人手位姿改变,也可将物体准确安全的送至人手中。
0/0