本发明公开了一种基于池化正交融合的面部色素斑分类方法及装置，涉及图像识别领域，包括：构建面部色素斑分类模型并训练，得到经训练的面部色素斑分类模型，面部色素斑分类模型中，利用深度骨干网络对色素斑图像进行特征提取，得到特征映射，池化正交融合模块中，先验平均池化分支用于提取特征映射中的空间全局信息，获得具有空间稳定性的先验池化特征，后验可学习池化分支借助可学习权重挖掘特征映射中的空间分布信息，获得空间敏感性的后验可学习池化特征，利用正交融合模块对先验池化特征和后验可学习池化特征进行正交融合，得到正交融合特征并输入到第一全连接层和Softmax函数层，输出预测类别概率。本发明解决散射分布斑点分类难的问题。