-
公开(公告)号：CN118840515B
公开(公告)日：2025-02-25
申请号：CN202411073812.9
申请日：2024-08-07
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供了一种脑机融合的视觉导航方法、电子设备以及存储介质，可以应用于具身智能体导航技术领域。该方法包括：利用脑模块对观测图像进行特征提取，得到具有认知信息的神经表征；利用视觉‑目标模块对目标定位信息和观测图像进行处理，得到视觉‑目标表征；基于交叉注意力机制，利用多模态融合模块对神经表征和视觉‑目标表征进行融合，得到联合表征；利用策略模块对联合表征进行处理，得到运动控制指令，并基于运动控制指令控制目标对象完成视觉导航任务。本发明通过神经表征将高级认知能力引入到视觉导航智能体中，并通过多模态融合模块对齐了神经表征和视觉‑目标表征得到了更加一致的脑‑视觉联合表征，提高视觉导航智能体的鲁棒性。
-
公开(公告)号：CN118840515A
公开(公告)日：2024-10-25
申请号：CN202411073812.9
申请日：2024-08-07
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供了一种脑机融合的视觉导航方法、电子设备以及存储介质，可以应用于具身智能体导航技术领域。该方法包括：利用脑模块对观测图像进行特征提取，得到具有认知信息的神经表征；利用视觉‑目标模块对目标定位信息和观测图像进行处理，得到视觉‑目标表征；基于交叉注意力机制，利用多模态融合模块对神经表征和视觉‑目标表征进行融合，得到联合表征；利用策略模块对联合表征进行处理，得到运动控制指令，并基于运动控制指令控制目标对象完成视觉导航任务。本发明通过神经表征将高级认知能力引入到视觉导航智能体中，并通过多模态融合模块对齐了神经表征和视觉‑目标表征得到了更加一致的脑‑视觉联合表征，提高视觉导航智能体的鲁棒性。
-
Search Results
2
records
(took 0.021 seconds)
