本发明公开了一种基于视觉增强的红外与可见光图像融合方法，涉及图像分类技术领域。本发明包括以下步骤：步骤1：构建自编码器，并训练自编码器；步骤2：获取增强网络的训练集；步骤3：构建增强网络，训练增强网络，得到训练好的增强网络模型；步骤4：获取融合网络的训练集与测试集；步骤5：构建融合网络，训练融合网络，得到训练好的融合网络模型；步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。本发明所述的图像融合方法得到的低光背景下的红外图像和可见光图像的融合图像能够获得更多的纹理细节、更丰富的边缘信息、更佳的整体亮度。