本发明涉及异质人脸识别领域，特别是一种基于特征解耦的异质人脸识别方法及装置。本发明将预处理后的人脸图像输入到特征提取主干网络，提取出对应的面部特征并将其传递给残差分解模块，该模块将面部特征解耦为身份特征信息、模态信息和残差信息。其中，身份特征信息用于人脸比对和识别，而模态信息用于建模图像的模态来源，残差信息用于建模其他外部因素，如表情、年龄等，由此从本质上消除了异质人脸识别中跨域差异的影响，以及其他外部因素变化的影响，提高人脸识别的精度和鲁棒性。