本发明公开了一种基于多模态对话内容联合建模的情感分析方法及系统，涉及机器智能技术。由于传统的情感分析方法不能较为完整地从多模态对话中捕捉到各模态之间的依赖以及对话中上下文和说话人之间的依赖关系进行情感分析，为此提出这种基于多模态对话内容联合建模的说话人连续情感分析方法，该方法以基于对话的多模态预训练模型为基础，经过情感分类模块，在相应数据集上进行微调训练，得到可以在语音、视频、文本模态上使用的情感分析方法。为此同时提出预训练模型的方法，比起传统的预训练方法，该方法具有说话人嵌入以及对话轮数嵌入模块，使得整个预训练模型学习到更加适应对话场景任务的语言模型。