基于自注意力机制的多模态情感识别方法
Abstract:
本发明涉及一种基于自注意力机制的多模态情感识别方法以及计算机可读存储介质,包括:获取不同模态的数据;将每条样本中的多维情感特征分组,抽取高维特征;根据自注意力机制计算模态间融合的情感信息;根据自注意力机制计算模态内融合的情感信息;构建情感相关矩阵,集结每个模态下的高维特征,形成单模态情感特征;对每一类情感,融合各模态的单模态情感特征,输出属于该情感类别的概率;对各类情感概率进行归一化,输出概率最大的情感类别,实现情感识别。本发明有效增强了模态特征之间的情感信息互补性,并增加情感高相关性特征的影响力,从而增强多模态情感识别能力。
Public/Granted literature
Patent Agency Ranking
0/0