-
公开(公告)号：CN118840515A
公开(公告)日：2024-10-25
申请号：CN202411073812.9
申请日：2024-08-07
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供了一种脑机融合的视觉导航方法、电子设备以及存储介质，可以应用于具身智能体导航技术领域。该方法包括：利用脑模块对观测图像进行特征提取，得到具有认知信息的神经表征；利用视觉‑目标模块对目标定位信息和观测图像进行处理，得到视觉‑目标表征；基于交叉注意力机制，利用多模态融合模块对神经表征和视觉‑目标表征进行融合，得到联合表征；利用策略模块对联合表征进行处理，得到运动控制指令，并基于运动控制指令控制目标对象完成视觉导航任务。本发明通过神经表征将高级认知能力引入到视觉导航智能体中，并通过多模态融合模块对齐了神经表征和视觉‑目标表征得到了更加一致的脑‑视觉联合表征，提高视觉导航智能体的鲁棒性。
-
公开(公告)号：CN119112168A
公开(公告)日：2024-12-13
申请号：CN202411110771.6
申请日：2024-08-13
Applicant: 中国科学院自动化研究所
IPC: A61B5/12 , A61B5/00 , G06N3/045 , G06N3/0464 , G06N3/0895
Abstract: 本公开涉及计算机技术领域和人工智能领域，提供一种听觉模型的评估方法及装置、电子设备、存储介质及程序产品，所述评估方法包括：获取针对目标音频数据的第一声学特征和听觉响应信号；根据所述听觉响应信号所对应的各脑区，对所述第一声学特征进行划分，得到与所述听觉响应信号对应的第二声学特征；基于所述第二声学特征和所述听觉响应信号，对所述听觉模型的类脑特性进行评估。本公开可以解决缺乏对听觉模型与人类听觉系统之间的关系和差异的评估方案的问题，可以通过分析声学特征与各脑区的对应性，实现对模型的声学特征与人脑听觉系统的听觉响应信号更细致的分析和比较。
-
公开(公告)号：CN116250829A
公开(公告)日：2023-06-13
申请号：CN202310130499.7
申请日：2023-02-03
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种运动姿态评价方法、装置及电子设备，方法包括：获取当前用户的待评价运动姿态数据，待评价运动姿态数据为基于光学摄像头拍摄的当前用户的运动视频获得的姿态数据；基于参考运动姿态数据，对待评价运动姿态数据进行时空对齐和评价，确定当前用户的运动姿态评价结果；其中，参考运动姿态数据为基于光学摄像头针对佩戴IMU的目标用户拍摄的运动视频确定的姿态数据。本发明前期获取参考运动姿态数据时结合光学摄像头和IMU、后期评价用户运动姿态时只需光学摄像头获取待评价运动姿态数据，无需每次评价均佩戴IMU且每次评价均需光学摄像头，提高了人体运动姿态评价的精确度，也提高了人体运动姿态评价的适用范围。
-
公开(公告)号：CN118840515B
公开(公告)日：2025-02-25
申请号：CN202411073812.9
申请日：2024-08-07
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供了一种脑机融合的视觉导航方法、电子设备以及存储介质，可以应用于具身智能体导航技术领域。该方法包括：利用脑模块对观测图像进行特征提取，得到具有认知信息的神经表征；利用视觉‑目标模块对目标定位信息和观测图像进行处理，得到视觉‑目标表征；基于交叉注意力机制，利用多模态融合模块对神经表征和视觉‑目标表征进行融合，得到联合表征；利用策略模块对联合表征进行处理，得到运动控制指令，并基于运动控制指令控制目标对象完成视觉导航任务。本发明通过神经表征将高级认知能力引入到视觉导航智能体中，并通过多模态融合模块对齐了神经表征和视觉‑目标表征得到了更加一致的脑‑视觉联合表征，提高视觉导航智能体的鲁棒性。
-
-
-
Search Results
4
records
(took 0.02 seconds)
