本发明公开了一种基于卷积神经网络的加密图像分类方法，包括如下步骤：构建Inception结构的卷积神经网络ICNN；数据所有者将获取的图像数据集进行统一裁剪以获得新的图像数据集；采用新的图像数据集对卷积神经网络ICNN进行训练，得到卷积神经网络ICNN参数；数据所有者将卷积神经网络ICNN参数以安全数据外包的方式发送至非共谋的云服务器S1和云服务器S2；用户将待查询图像以安全数据外包的方式发送至云服务器S1和云服务器S2；云服务器S1和云服务器S2联合计算出分类向量，并将分类向量以安全数据外包方式返回给用户；用户根据分类向量判断出待查询图像所属类别；本发明在进行图像分类时能够对用户图像的隐私进行有效的保护。