本发明属于图像融合领域，尤其为一种基于高阶退化模型的多模态图像融合方法，该方法具体包括如下步骤：S1，准备数据集：准备三种红外与可见光图像数据集，数据集一和数据集二用于网络训练和模型微调，数据集三用于模型测试。S2，构建图像退化模型：图像退化模型包括低阶退化过程和高阶退化过程。本发明是基于高阶局部随机退化模型的多模态图像融合方法，构建了一种新的两阶段图像退化模型，设计了简单高效的特征提取和融合网络，实验数据证明本发明能够有效抑制强光、噪声和烟雾等恶劣环境的影响，也能提高低照度和夜间环境下的融合图像质量，在红外与可见光图像和医学图像融合任务的定性和定量评价中都表现出了良好的性能。