本发明公开了一种双向残差融合的视频超分辨率重建的方法，按照以下步骤具体实施：步骤1、采集超分辨率重建网络的训练样本，步骤2、重建网络结构的设置，步骤3、重建网络的训练，步骤4、进行双向残差融合。本发明的方法，解决了现有基于循环神经网络的视频超分辨率重建技术中，存在的前后序视频帧细节信息提取不充分问题，本发明方法显式地融合前、后序视频帧预测的细节信息，在不增加模型复杂度的条件下，采用本发明方法重建出来的视频帧序列的细节保持效果有明显的提高，在多个测试数据集上的测试结果，均优于目前公开发表的论文效果。