专利检索 ap:("山东大学") AND inv:"孟子喻" 第 1 页

1.

发明公开
一种基于多模态大模型预测控制的机器人规划方法及系统审中-实审

公开(公告)号：CN118061186A

公开(公告)日：2024-05-24

申请号：CN202410367785.X

申请日：2024-03-28

申请人： 山东大学

发明人： 李晓磊 , 赵文韬 , 张伟 , 陈佳铭 , 孟子喻 , 毛冬辉 , 宋然

IPC分类号： B25J9/16

摘要： 本发明提出了一种基于多模态大模型预测控制的机器人规划方法及系统，利用多模态大模型强大视觉推理和视觉定位能力，通过机器人运动的目标图像或文本指令，以及机器人当前观测图像来采样候选动作序列，然后对采样候选动作序列预测未来状态视频，来指导机器人操作，旋转和与场景物体互动的复杂路径规划，避免了手动设计基础动作和技能的需要，并突破了之前基于多模态大模型的方法只能组成没有预见性的粗略轨迹的限制，实现基于未来状态预测的机器人控制规划。