公开(公告)号：CN119377876A

公开(公告)日：2025-01-28

申请号：CN202411301655.2

申请日：2024-09-18

Applicant: 安徽大学

Inventor： 吕钊 ,  李傲 ,  吴敏超 ,  李心慧 ,  王勇明 ,  李佳泉

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0464

Abstract: 本发明公开了一种基于多模态融合数据增强框架的情感识别方法，包括以下步骤：S1：提取包括n个生理信号的多模态输入序列，将这些多模态输入序列使用CNXAF模型进行模态融合，得到多模态融合数据；S2：使用条件自注意力生成对抗网络C‑SAGAN对所述多模态融合数据进行数据增强，得到增强数据集，C‑SAGAN网络包括生成器和判别器两个组件；S3：利用预先训练的改进型ConvNeXt‑t模型对增强数据集进行情感识别。还公开了一种基于多模态融合数据增强框架的情感识别系统。本发明能够对多模态生理信号进行数据融合和数据扩充，端到端地实现高精度的多模态情感识别。

公开(公告)号：CN119066493A

公开(公告)日：2024-12-03

申请号：CN202411153627.0

申请日：2024-08-21

Applicant: 安徽大学

Inventor： 李心慧 ,  李佳泉 ,  吕钊 ,  李平 ,  曹帅 ,  张超 ,  张磊 ,  范存航 ,  裴胜兵 ,  胡世昂

IPC: G06F18/241 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了一种基于时频对比学习的跨被试脑电情感识别方法，包括以下步骤：将受试者情感反馈时的脑电信号由时域信号转为时域的增强信号、频域信号和频域的增强信号，再以被试为单位将脑电信号划分为源域数据和目标域数据；构建一个基于卷积结构的对比学习模型，将不带标签的源域数据输入模型进行对比预训练，分别得到时域特征提取器和频域特征提取器；将带标签的目标域数据输入到预训练好的提取器中，提取时域和频域特征，并将二者拼接后输入到分类器中进行情绪分类训练；将新被试的带标签的少量未增强的脑电信号输入到模型中，对模型进行微调，然后用于被试的不带标签的脑电信号的情感识别。本发明能够通过微调少量数据来适应新的对象。