基于常识信息辅助的视觉自然语言导航系统及方法
摘要:
本发明公开了基于常识信息辅助的视觉自然语言导航方法及系统,属于视觉语言导航技术领域。本发明借鉴语义推理的思想,对输入的指令信息进行特征提取,对这些特征信息进行推理和添加常识性信息作为额外信息输入参与决策;利用跨模态Transformer,将输入的语言指令、环境输入和扩充信息聚合,获取目标预测点,进行智能体的行动控制;能够提高视觉自然语言导航的准确性。解决了现有技术中存在“不能使智能体真正理解语言中语义信息与实际场景之间的关系”的问题。
0/0