基于对比特征融合的情感识别方法、装置、设备及介质
摘要:
本申请公开了一种基于对比特征融合的情感识别方法、装置、设备及介质。该方法可以包括:分别提取语音单模态特征与表情单模态特征;通过对比学习提取语音单模态特征与表情单模态特征的共享信息,获取对比损失函数;通过正交约束提取语音单模态特征与表情单模态特征的特定信息,获得正交损失函数;根据共享信息与特有信息,进行情感分类,获得总损失函数;通过最小化总损失函数,获得最终的情感分类。本发明有效地提取和融合了语音和表情模态之间的共享信息和特有信息。
0/0