本发明公开了红外与可见光图像融合的双分支卷积神经网络装置，双分支卷积神经网络包括级联模块、低频融合模块、高频融合模块以及融合模块；所述级联模块，用于将红外图像和可见光图像在颜色通道上进行级联，得到级联图像；所述低频融合模块，用于学习所述级联图像的局部特征，得到低频融合图像；所述高频融合模块，用于学习所述级联图像的全局特征，得到高频融合图像；所述融合模块，用于根据所述低频融合图像和所述高频融合图像构建融合图像。本发明的目的在于提供一种红外与可见光图像融合的双分支卷积神经网络及融合方法，使得融合图像既具有红外图像中的目标信息，又具有可见光图像中的纹理信息，提高了融合图像的质量。