多模态情感识别方法、装置及计算机可读存储介质
摘要:
本发明提供一种多模态情感识别方法,首先针对样本的单模态数据,将输入特征在固定维度的特征空间中进行投影分割,得到两个维度相等的子特征序列,然后分别对两个子特征提取时间特征和空间特征,最后利用线性调制的方法自适应融合时间特征和空间特征,得到该模态数据对应的时空特征。该方法减小了不同模态之间的异构性,弭平不同模态特征之间的模态鸿沟,使得后续多模态融合更加高效。通过将多模态下的情感特征预测值加权平均,即可得到多模态下的情感识别结果,无需设计复杂的多模态融合网络层,从本质上提升模型的泛化能力。本发明还提供一种多模态情感识别装置及一种计算机可读存储介质。
0/0