本发明提供了一种基于多尺度信息的立体匹配网络及立体匹配方法，立体匹配网络包括金字塔编码器、特征体构造模块、视差生成约束模块、特征体解码器。其中金字塔编码器包括两组带有跳层连接的编码器‑解码器模块；特征体解码器内设有多个解码器模块，所述解码器模块输出端连接有多尺度特征自适应融合模块，所述多尺度特征自适应融合模块输出两个红外图像融合后的立体图像。本发明设计的立体匹配网络及立体匹配方法，解决红外成像存在可用信息少，大面积弱纹理、无纹理的问题。