公开(公告)号：CN116883303A

公开(公告)日：2023-10-13

申请号：CN202310870277.9

申请日：2023-07-17

申请人： 大连民族大学

发明人： 孙福明 ,  李茂月 ,  孙静 ,  王法胜 ,  李豪杰

IPC分类号： G06T5/50 ,  G06T7/40 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/048

摘要： 本发明公开一种基于特征差分补偿与融合的红外与可见光图像融合方法。本发明在特征提取阶段，使用CNN和Transfomer分别对红外与可见光图像进行编码。CNN模块用来提取图像像素强度分布信息，Transfomer模块用于提取图像细节纹理信息。设计跨模态差分补偿与融合模块，通过跨模态差分补偿模块提取各个阶段的互补信息，然后结合跨模态特征融合模块将互补信息整合到上下文全局信息中。利用跨模态差分补偿与融合模块构建一个渐进式差分融合解码器，通过渐进的方式将原图像不同模态和不同尺度的进行跨层特征融合，使得融合后的图像具有较强的热辐射信息和清晰的纹理信息；本发明的方法具有显著效果和显示出优异泛化能力。