本发明提供一种基于互信息的多模态情感识别方法及系统，方法包括获取视频数据和音频数据；根据所述视频数据和音频数据以及已经训练好的多模态情感识别模型，获得情感分类结果；其中，在所述多模态情感识别模型中，定义总体损失函数，基于得到的总体损失，训练多模态情感识别模型；所述总体损失函数由单模态特有信息学习损失函数、模态间的共同信息学习损失函数、多模态融合特征最小充分表示损失函数、情感识别分类损失函数组成。本发明利用互信息剔除冗余信息、提取相关信息，并挖掘不同模态之间的互补性，提高了多模态情感识别精度。