本申请实施例提供一种训练多模态人脸识别模型的方法以及多模态人脸识别方法，所述训练方法包括：根据训练得到的目标彩色识别网络和所述目标深度识别网络获取多模态参考集中各类人脸图片的参考彩色识别特征和参考深度识别特征；根据多模态查询集中的图片、所述参考彩色识别特征和所述参考深度识别特征训练多模态人脸识别模型，得到目标多模态人脸识别模型。当配对的RGB‑D人脸图片数据集较少时，通过本申请提供的自适应得分多模态人脸识别方法可以快速训练出鲁棒的多模态人脸识别模型。通过本申请一些实施例提供的方法至少可以实现当配对的RGB‑D人脸图片数据集较少时，通过自适应得分策略快速训练出鲁棒的多模态人脸识别模型。