本发明公开了一种基于强化学习框架的多模态检测对话情感信息的方法，包括：将话语特征描述符输入到所建立的智能体中得到当前话语情感信息；对话语情感信息采取滑窗和最大池化操作融合滑窗窗口内的话语情感信息，并与当前话语的特征描述符拼接作为当前输入智能体的状态；智能体识别当前话语的情感并进行分类，获取分类标签；根据分类标签通过最大化智能体所得的回报来优化策略，优化后的策略指导智能体在后续过程根据状态采取优化的动作，输出分类结果。本发明捕捉了情绪状态和累积的情绪变化的影响，以提升多模态场景下对话中的情感检测的精度。