公开(公告)号：CN118172256A

公开(公告)日：2024-06-11

申请号：CN202410266080.9

申请日：2024-03-08

申请人： 浙江工业大学

发明人： 陈博 ,  曾祥志 ,  吕骏晖 ,  胡明南 ,  刘炯 ,  仇翔 ,  王浙明

IPC分类号： G06T5/50 ,  G06V10/52 ,  G06V10/44 ,  G06V10/424 ,  G06V10/74 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于局部与全局信息交互的快速红外与可见光图像融合方法及电子设备和存储介质，首先，利用多通道卷积神经网络对输入图像进行显著特征和多尺度局部特征的提取。其次，引入基于自适应Transformer的全局互补特征提取模块对通道中图像的全局互补信息进行提取。然后，通过加权组合的方式对提取的多通道特征进行融合。最后通过重建网络对融合结果进行图像重构。为了保证融合图像中包含更多的语义信息，设计了语义对抗机制，提高融合结果的语义丰富度。本发明中提出的红外与可见光图像融合网络，在保证良好的融合性能前提下，具有计算消耗小、模型参数量较低的优点，具有实现资源受限的嵌入式设备部署的潜力。