本发明公开一种基于面部特征与语音特征的情绪识别方法，涉及特征融合技术领域，包括：对采集的包含有面部信号和语音信号的音视频进行分帧，提取每帧的语音特征值和面部特征值；根据情绪种类构建K均值聚类数目集，从K均值聚类数目集合中确定最优聚类数目；使用最优聚类数目kbest把语音特征值和面部特征值聚为不同的簇，将既含有面部特征值也含有语音特征值的簇作为融合特征；将融合特征输入到情绪识别模块中，输出情绪识别结果。本发明引入k均值算法对表情特征和语音特征进行融合，将不同感知模式的信息融合，有助于捕捉模态之间的互补信息。将该类作为情绪识别模型的输入有助于情绪识别模型输出更准确的情绪识别结果。