面向跨场景的机器人视觉模仿学习方法及系统
摘要:
本公开公开了面向跨场景的机器人视觉模仿学习方法及系统,将给定来自原始语境的观察图像转换为预测的目标观察图像,即将视觉演示从演示者的语境转换到机器人所在语境,完成语境转换;基于初始深度观察图像来预测目标深度观察图像;针对获取到多模态的初始观察和目标观察,使用深度神经网络来构建逆动态模型,利用逆动态模型来输出预测动作,完成模仿学习。本公开语境转换模块负责将来自不同语境的视觉演示转换到机器人所在语境。本公开多模态逆动态模型负责将多模输入映射为动作来复现演示中动作,以颜色和深度观察信息作为输入,并将其映射为动作,从而实现根据演示进行模仿。
公开/授权文献
0/0