本发明实施例公开了一种人脸图像分类方法、装置及服务器，包括下述步骤：获取待分类的人脸图像；将所述人脸图像输入到预设的卷积神经网络模型中，并根据所述卷积神经网模型的卷积层输出的中间数据，对所述人脸图像的性别信息进行辨识；根据所述卷积神经网模型的卷积层输出的最终数据，在所述性别信息限定的范围内对所述人脸图像进行预设内容理解分类，以使决定所述卷积神经网络模型输出分类结果的数据中包括区分不同性别的差异属性。卷积神经网络模型采用对应性别独有的特点和常规特征相结合的方式，对人脸图像进行评判或比较，使最终输出的分类结果中性别差异化得以凸显。