本发明提出一种基于卷积神经网络的多尺度遥感图像融合算法，该方法包括：第一，借助卷积神经网络的性质，构建一个符合遥感图像融合特性的多尺度卷积神经网络融合模型，其输入为待融合图像，输出为融合图像；第二，构建一个合适的训练数据集，在该训练集上成功训练提出的融合模型；第三，将遥感全色图像Pan图像转换为模型需要的待融合图像；第四，将转化后的近似Pan图像和多光谱图像MS输入训练好的融合模型，得到最终的融合图像。本发明所述方法从大量数据中学习一个自适应的多尺度融合函数，其由统计学习而来，不是人为设计，更加合理。实验结果表明，所述基于卷积神经网络的多尺度融合方法能够较好地处理不同卫星、不同波段的遥感图像。