本发明提供了一种同态加密下神经网络构建方法、图像处理方法和系统，包括：获取预先训练的卷积神经网络模型输出所述卷积神经网络模型的网络参数；根据所述网络参数，在同态加密下对所述卷积神经网络模型进行转换，得到可识别多类型数据的卷积神经网络；其中，所述卷积神经网络模型是由用户层多个图像数据及其对应的分类结果训练得到的。本发明构建了一个可同时处理原始数据和同态加密的数据的可识别多类型数据的卷积神经网络，改善现有机器学习的弊端，提高预测准确率。