Invention Grant
- Patent Title: 基于自注意力机制的多模态情感识别方法
-
Application No.: CN202010368593.2Application Date: 2020-05-01
-
Publication No.: CN111553295BPublication Date: 2023-05-09
- Inventor: 傅湘玲 , 欧阳天雄 , 王莉 , 杨国胜 , 闫晨巍
- Applicant: 北京邮电大学
- Applicant Address: 北京市海淀区西土城路10号
- Assignee: 北京邮电大学
- Current Assignee: 北京邮电大学
- Current Assignee Address: 北京市海淀区西土城路10号
- Agency: 北京格允知识产权代理有限公司
- Agent 张莉瑜
- Main IPC: G06F18/24
- IPC: G06F18/24 ; G06N3/094 ; G06N3/0475 ; G06F18/25 ; G06F18/213 ; G06N3/0442

Abstract:
本发明涉及一种基于自注意力机制的多模态情感识别方法以及计算机可读存储介质,包括:获取不同模态的数据;将每条样本中的多维情感特征分组,抽取高维特征;根据自注意力机制计算模态间融合的情感信息;根据自注意力机制计算模态内融合的情感信息;构建情感相关矩阵,集结每个模态下的高维特征,形成单模态情感特征;对每一类情感,融合各模态的单模态情感特征,输出属于该情感类别的概率;对各类情感概率进行归一化,输出概率最大的情感类别,实现情感识别。本发明有效增强了模态特征之间的情感信息互补性,并增加情感高相关性特征的影响力,从而增强多模态情感识别能力。
Public/Granted literature
- CN111553295A 基于自注意力机制的多模态情感识别方法 Public/Granted day:2020-08-18
Information query