本发明提出了基于跨模态注意与分层融合的多模态情感分析方法及系统，提取待分析视频中的文本特征、视觉特征和声学特征；将文本特征与声学特征、文本特征与视觉特征交叉注意，获得声学模态表征和视觉模态表征；门控循环分层融合网络对声学模态表征、视觉模态表征和文本特征两两交互提取信息，得到一维向量，用于情感分析预测；本发明基于分布匹配思想，使模态在时间交互阶段获得对整体情感取向具有协同作用的表征信息，对三个特征对组合进行模态间交互信息提取，并通过门控机制剔除冗余信息，以实现有效的多模态表征融合。