本发明公开了一种基于RGB通道三边补偿的图像去摩尔纹方法，首先获取网络训练需要的图像数据集，然后构建基于RGB通道三边补偿的图像去摩尔纹网络模型，通过获得的图像数据集对构建的图像去摩尔纹网络模型进行训练；最后经过训练的模型接收需要进行去摩尔纹处理的图像，完成去摩尔纹处理后将图像输出。本发明创新的提出了使用不同通道分支提取不同通道下的图像信息，并从每个通道中分别学习不同尺度下的摩尔纹信息并加以去除并进行颜色恢复，使用多通道特征融合模块将不同通道下的图像特征进行融合，使得每个通道分支都能借鉴其它分支的特征来完善本尺度分支的特征，提高模型去除摩尔纹和恢复颜色的能力。