本发明公开了一种基于多源信息融合的情感识别和人机交互系统，包括信息采集模块、信号预处理模块、信号分析模块、特征融合模块、情感识别模块、反馈模块、情感陪护模块和人机交互模块，其中：信息采集模块，用于采集用户的面部图像信息、语音信息以及语义信息；信号预处理模块，用于对信息采集模块采集到的信号预处理；信号分析模块，用于对信号预处理模块得到的信号进行分析处理；特征融合模块，用于对信号处理模块得到情感特征进行特征融合；情感识别模块，用于根据特征融合模块得到的融合的情感特征进行情感识别；情感反馈模块，用于将情感识别模块识别到的用户情感状态反馈到情感陪护模块；情感陪护模块，用于根据情感反馈模块反馈的情感状态生成情感陪护模式；人机交互模块，用于根据情感陪护模块生成的情感陪护方案进行人机交互。