发明公开
- 专利标题: 基于常识信息辅助的视觉自然语言导航系统及方法
-
申请号: CN202310691898.0申请日: 2023-06-12
-
公开(公告)号: CN116737899A公开(公告)日: 2023-09-12
- 发明人: 程吉禹 , 赵昊天 , 陈佳铭 , 张伟 , 宋然 , 李晓磊
- 申请人: 山东大学
- 申请人地址: 山东省济南市历下区经十路17923号
- 专利权人: 山东大学
- 当前专利权人: 山东大学
- 当前专利权人地址: 山东省济南市历下区经十路17923号
- 代理机构: 济南圣达知识产权代理有限公司
- 代理商 李圣梅
- 主分类号: G06F16/332
- IPC分类号: G06F16/332 ; G06F16/33 ; G06F40/30 ; G06N5/04
摘要:
本发明公开了基于常识信息辅助的视觉自然语言导航方法及系统,属于视觉语言导航技术领域。本发明借鉴语义推理的思想,对输入的指令信息进行特征提取,对这些特征信息进行推理和添加常识性信息作为额外信息输入参与决策;利用跨模态Transformer,将输入的语言指令、环境输入和扩充信息聚合,获取目标预测点,进行智能体的行动控制;能够提高视觉自然语言导航的准确性。解决了现有技术中存在“不能使智能体真正理解语言中语义信息与实际场景之间的关系”的问题。
公开/授权文献
- CN116737899B 基于常识信息辅助的视觉自然语言导航系统及方法 公开/授权日:2024-01-26