本发明公开了一种基于李群论的多模态情感识别方法，包括以下步骤：获取视频，并提取视频帧中图像区域的高斯型特征描述子，基于高斯型特征描述子对视频中的图像区域进行跟踪，根据视频子序列构建ARMA模型获取ARMA模型间的距离，根据ARMA模型之间的距离构建核函数，并进行情感表达分类，根据人体、脸部和手部的情感类别概率对人进行情感识别。本发明根据视频中所包含的人体姿态运动信息、手势和脸部表情信息来判断人的情感状态，是一个将视频数据映射到人体运动特征、手势特征和脸部表情特征，再从人体运动特征空间和脸部表情特征映射到状态空间的过程，并提出利用李群论进行多模态情感识别，提高模型进行情感识别的精确性。