一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法
摘要:
本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法,包括以下步骤:(1)获取原始图像,划分训练集、验证集和测试集;对训练集中的可见光图像和红外图像进行预处理;(2)利用ResNet50作为骨干网络,添加辅助模态增强模块;(3)将步骤(2)输出的特征继续输入到由ResNet50进行特征提取和融合;(4)将ResNet50最终的输出特征进行全局平均池化和批量归一化,计算局部语义一致性损失;本发明减小可见光与红外之间的模态差异,学习到更多模态共享的身份信息,还能捕获不同感受野的身份信息,实现行人身份特征的充分挖掘。
0/0