本发明公开了一种基于EDSR网络的红外图像超分辨率重建方法，并采用双损失函数训练网络，用于保护重建图像的边缘。包括以下步骤：对输入图像预处理，结合图像通道数对输入图像深度扩展；采用局部残差块级联和全局残差的方式构建深度学习网络结构，从而提取低分辨率图像和高分辨率图像的残差特征；采用L2损失和输入图像与输出图像的边缘图差值作为损失函数训练网络，从而保证较高的PSNR(Peak Signal‑Noise Ratio，峰值信噪比)和具有清晰边缘的高分辨率红外图像；将训练完成得到的特征恢复到输入图像通道数生成重建的超分辨红外图像。本发明采用双损失函数训练网络，可高质量、快速地完成红外图像的超分辨率重建，具有较高的应用价值。