一种从人类演示中提取操作技能信息并构建知识库的方法

    公开(公告)号:CN118070890A

    公开(公告)日:2024-05-24

    申请号:CN202410286557.X

    申请日:2024-03-13

    申请人: 浙江大学

    摘要: 本发明公开了一种从人类演示中提取操作技能信息并构建知识库的方法,包括获取人类演示RGB视频,通过动作分割模块得到人类演示中的操作技能序列以及每个操作技能在演示视频中的起止帧,对每个操作技能在演示视频中的起止帧进行物体相对位置关系识别,获取物体相对位置关系等步骤,本发明将演示学习与人类指令相结合,利用大语言模型的解析能力,实现了从人类指令到机器人操作技能序列的生成。这种方法突破了以往演示学习主要依赖视觉信息的局限,将文本指令、语音指令等多元输入与视觉演示同步整合,以丰富机器人理解任务和环境的能力。

    一种基于模型的机器人操作技能参数学习方法

    公开(公告)号:CN116749194A

    公开(公告)日:2023-09-15

    申请号:CN202310870746.7

    申请日:2023-07-17

    申请人: 浙江大学

    IPC分类号: B25J9/16

    摘要: 本发明公开了一种基于模型的机器人操作技能参数学习方法,包括单一技能的策略学习模块、任务技能的参数学习模块,单一技能的策略学习模块包括面向物体的表征模型和以语义目标为条件的策略模型,任务技能的参数学习模块包括隐式状态转移模型学习模块和技能参数在线规划模块;本发明单一语义技能策略学习模块将表征学习和强化学习相结合,将视觉输入到当前系统状态的逻辑表征的推理转化和面向任务的机器人策略学习相结合,生成满足目标逻辑状态的动作参数。使用强化学习方法,避免了大量的模型设计与处理以及对专家示教数据的需求,并且基于操作知识库对技能的动作序列进行预定义,缩小动作的搜索空间,降低智能体的探索负担。

    一种实现机器人与人之间物品传递的人机协作方法及装置

    公开(公告)号:CN113681565A

    公开(公告)日:2021-11-23

    申请号:CN202111050786.4

    申请日:2021-09-08

    申请人: 浙江大学

    IPC分类号: B25J9/16

    摘要: 本发明公开了一种实现机器人与人之间物品传递的人机协作方法及装置,包括操作人员手持指定容器进入视觉观测系统的观测范围,视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿,并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统等步骤,机械臂可以柔顺、灵敏地跟随操作人员手持的指定容器运动,且在跟随操作人员手持的指定容器运动的过程中,机械臂始终保持末端夹爪所持容器的杯口朝上,以避免盛装在其中的物品掉落,当操作人员手持的指定容器位置稳定且杯口朝上时,机械臂可以迅速、准确地在该位置进行物品交接。

    一种基于逆向工程的机器人装配作业演示编程方法及装置

    公开(公告)号:CN110065068B

    公开(公告)日:2021-04-16

    申请号:CN201910274691.7

    申请日:2019-04-08

    申请人: 浙江大学

    发明人: 熊蓉 周忠祥 王越

    IPC分类号: B25J9/16

    摘要: 本发明公开了一种基于逆向工程的机器人装配作业演示编程方法及装置,包括在工件模型重构系统中使用三维扫描仪对装配体的各个工件进行点云采集,使用点云滤波算法对采集到的点云进行处理,基于处理过的点云数据使用专业的逆向工程软件完成工件模型的重构等步骤,包括的三维扫描仪、双目相机等装置,本发明当需要对生产流程或者装配工件进行调整时,只需要重新演示装配作业,无需对机器人进行重新编程,大大提高了产品的生产效率,此项技术尤其适用于具有多品种、小批量、短周期特点的柔性制造产业。

    一种基于逆向工程的机器人装配作业演示编程方法及装置

    公开(公告)号:CN110065068A

    公开(公告)日:2019-07-30

    申请号:CN201910274691.7

    申请日:2019-04-08

    申请人: 浙江大学

    发明人: 熊蓉 周忠祥 王越

    IPC分类号: B25J9/16

    摘要: 本发明公开了一种基于逆向工程的机器人装配作业演示编程方法及装置,包括在工件模型重构系统中使用三维扫描仪对装配体的各个工件进行点云采集,使用点云滤波算法对采集到的点云进行处理,基于处理过的点云数据使用专业的逆向工程软件完成工件模型的重构等步骤,包括的三维扫描仪、双目相机等装置,本发明当需要对生产流程或者装配工件进行调整时,只需要重新演示装配作业,无需对机器人进行重新编程,大大提高了产品的生产效率,此项技术尤其适用于具有多品种、小批量、短周期特点的柔性制造产业。