基于跨模态特征校准和动态融合的多光谱行人检测方法
摘要:
本发明涉及一种基于跨模态特征校准和动态融合的多光谱行人检测方法,包括:步骤S1、构建双流特征提取网络提取可见光图像和红外图像的特征;步骤S2、构建跨模态特征校准子网络;步骤S3、构建多模态动态融合子网络;步骤S4、构建基于跨模态特征校准和动态融合的多光谱行人检测网络;步骤S5、训练基于跨模态特征校准和动态融合的多光谱行人检测网络;步骤S6、利用所述步骤S5中训练完成的基于跨模态特征校准和动态融合的多光谱行人检测网络进行行人检测。本发明,能够消除模态相关冗余性,突出模态之间的互补性,有助于更好的多模态特征融合,进而提升多光谱行人检测能力。
0/0