公开(公告)号：CN118551337A

公开(公告)日：2024-08-27

申请号：CN202410632522.7

申请日：2024-05-21

申请人： 电子科技大学

发明人： 黄伟 ,  李恒江 ,  杨鹏飞 ,  秦帆 ,  郭靖 ,  樊云霜 ,  陈华富

IPC分类号： G06F18/25 ,  G06V10/80 ,  G06N3/0442 ,  G06N3/0895 ,  G06N3/0455 ,  G06F40/30

摘要： 本发明公开了一种多模态融合的大脑视觉神经活动表征的对齐方法，属于生物医学工程和模式识别交叉领域。本发明基于观看大量视觉感知图像下的功能核磁共振图像信号数据构建的多模态融合的大脑视觉刺激表征对齐模型，其主要包括视觉刺激语义融合模块，一个VAE模型负责融合目标多模态的语义表征信息，包括图像、文本；大脑语义信息编码器，一个GRU负责提取大脑主要视觉皮层的语义信息，经过CLIP式的对比学习将二者对齐到统一特征空间。本发明解决视觉活动同时对齐图像和文本时产生的对齐模糊问题，是提取语义增强的视觉特征的关键，以提取丰富语义信息的识别表征，为后续的脑解码研究提供了有价值的基础。