公开(公告)号：CN119918616A

公开(公告)日：2025-05-02

申请号：CN202411912148.2

申请日：2024-12-24

Applicant: 电子科技大学

Inventor： 黄伟 ,  李靖鹏 ,  秦帆 ,  李恒江 ,  王斯卓 ,  杨鹏飞 ,  陈华富

IPC: G06N3/096 ,  A61B5/055 ,  G06N3/0455 ,  G06N3/044 ,  G06N3/0475 ,  G06F3/01 ,  G06F18/25 ,  G06F18/213 ,  G06V10/44 ,  G06F40/284 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明公开了一种基于GPT的渐进迁移训练解码方法，属于视觉神经解码领域。本发明基于被试观看大量视觉感知图像时记录下的功能磁共振信号数据构建了基于GPT的类别和文本解码模型，其包括：图像编码器，用于将采用预训练模型提取的图像特征向量嵌入到隐特征空间：文本编码器，将包含任务信息的Prompt和位置编码嵌入到隐特征空间；视觉信息编码器，使用GRU将大脑视觉区域体素信号映射到隐特征空间；全脑信息编码器，根据大脑视觉区域体素信号作为上下文，指导大脑其他区域的体素信号的选取，并将全局信息映射到隐特征空间；语言生成器，融合以上所有的隐特征并选取概率最高的Token以进行对应内容的文本生成。本发明提高了解码准确率，增强了模型的泛化能力。

公开(公告)号：CN118038138A

公开(公告)日：2024-05-14

申请号：CN202410128666.9

申请日：2024-01-30

Applicant: 电子科技大学

Inventor： 黄伟 ,  秦帆 ,  李恒江 ,  杨鹏飞 ,  唐颖 ,  吴狄蔚 ,  赵宇浩 ,  朱宇成 ,  任伟 ,  颜红梅 ,  陈华富

IPC: G06V10/764 ,  G06V10/26 ,  G06V10/40 ,  G06V10/77 ,  G06V10/82 ,  G06V10/52 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/047 ,  G06N3/084 ,  A61B5/055 ,  A61B5/00

Abstract: 本发明公开了一种用于自然图像引发的人脑活动的多任务同步解码方法，属于生物医学图像的多任务解码技术领域。本发明基于观看大量自然图像下的功能磁共振信号数据建立基于多任务视觉信息脑解码模型，包括：视觉编码模块，将视觉相关区域体素信号编码到隐特征空间；多任务编码模块，获取包括视觉信息特征向量、类别信息特征向量和语义解码任务的特征向量的多任务特征向量；类别解码模块，获取预测的类别的概率分布；语义解码模块，预测语义标签的概率分布；语言解码模块，来捕捉文本中的深层次结构和语义关系，从而生成更准确的连续描述性文本。本发明解码出的类别信息和语义标签的准确率高，并且解码出的图像描述能指向其主要元素或事件。

公开(公告)号：CN118013264A

公开(公告)日：2024-05-10

申请号：CN202410008327.7

申请日：2024-01-02

Applicant: 电子科技大学

Inventor： 黄伟 ,  杨鹏飞 ,  李恒江 ,  吴狄蔚 ,  唐颖 ,  朱宇成 ,  秦帆 ,  李靖鹏 ,  王京 ,  颜红梅 ,  陈华富

IPC: G06F18/2134 ,  G06V10/40 ,  G06V10/80 ,  G06F40/126 ,  G06F40/30 ,  G06F18/25

Abstract: 本发明公开了一种联合结构和功能磁共振影像预测大脑任务激活模式的方法，属于生物医学工程和模式识别交叉领域。本发明首先通过数据预处理获得大脑功能特征、结构特征以及Prompt文本，然后分别建立将Prompt的文本嵌入到文本特征空间的Prompt文本编码模型，提取大脑的高层次语义特征，并融合功能与结构两种模态的特征的主干网络模型，以及融合Prompt信息以使模型的预测结果可能更容易解释和理解使模型的预测结果可能更容易解释和理解的Prompt交互模块，基于分类‑对比损失的目标函数对所构建的模型进行优化，实现从无任务激活模式预测出大脑有任务状态激活模式。本发明提升了模型预测精度，有助于精神类疾病患者、老年人或婴幼儿人群的大脑任务激活模式的预测。

公开(公告)号：CN118551337A

公开(公告)日：2024-08-27

申请号：CN202410632522.7

申请日：2024-05-21

Applicant: 电子科技大学

Inventor： 黄伟 ,  李恒江 ,  杨鹏飞 ,  秦帆 ,  郭靖 ,  樊云霜 ,  陈华富

IPC: G06F18/25 ,  G06V10/80 ,  G06N3/0442 ,  G06N3/0895 ,  G06N3/0455 ,  G06F40/30

Abstract: 本发明公开了一种多模态融合的大脑视觉神经活动表征的对齐方法，属于生物医学工程和模式识别交叉领域。本发明基于观看大量视觉感知图像下的功能核磁共振图像信号数据构建的多模态融合的大脑视觉刺激表征对齐模型，其主要包括视觉刺激语义融合模块，一个VAE模型负责融合目标多模态的语义表征信息，包括图像、文本；大脑语义信息编码器，一个GRU负责提取大脑主要视觉皮层的语义信息，经过CLIP式的对比学习将二者对齐到统一特征空间。本发明解决视觉活动同时对齐图像和文本时产生的对齐模糊问题，是提取语义增强的视觉特征的关键，以提取丰富语义信息的识别表征，为后续的脑解码研究提供了有价值的基础。

公开(公告)号：CN118427767A

公开(公告)日：2024-08-02

申请号：CN202410145024.X

申请日：2024-02-01

Applicant: 电子科技大学

Inventor： 黄伟 ,  吴狄蔚 ,  杨鹏飞 ,  李恒江 ,  赵宇浩 ,  唐颖 ,  泰帆 ,  王斯卓 ,  王京 ,  颜红梅 ,  陈华富

IPC: G06F18/25 ,  G06F40/284 ,  G06F40/205 ,  G06N3/0442 ,  G06F17/16 ,  G06F18/214

Abstract: 本发明公开了一种基于GPT的多任务视觉感知解码方法，属于生物医学图像脑解码中的语言解码技术领域。本发明基于观看大量视觉感知图像下的功能磁共振信号数据建立基于GPT模型的语言解码模型，其包括：Prompt嵌入模块，将包含任务信息的Prompt嵌入到隐特征空间；视觉编码模块，使用GRU将视觉相关区域体素信号编码到隐特征空间；网络编码模块，将视觉相关区域体素信号作为上下文，指导大脑所有其他区域的体素信号的选取，并将全局信息编码到隐特征空间；语言生成模块，融合隐特征并识别隐特征以进行对应内容的文本生成。本发明解决了在一个解码模型中无法进行多个解码任务的问题，并引入了大脑的有效全局信息，可以实现多任务语言生成式脑机接口场景的实际应用。