本发明公开了一种基于双向映射网络的图像阴影去除方法，其步骤包括：1、输入待处理的阴影图像，构建颜色提取网络获取阴影图像颜色不变性信息作为阴影去除的引导信息；2、构建双向映射模块来实现双向映射网络的特征提取及特征映射；3、将阴影图像及相关的颜色引导信息输入到构建的双向映射网络中获取重建的无阴影图像。本发明充分考虑了阴影生成对阴影去除的辅助监督作用而构建了双向映射网络实现图像中阴影的去除，同时在阴影去除时引入了颜色引导信息从而减少复原图像时可能发生的颜色偏差问题，从而能实现更好的阴影去除效果。