- 专利标题: 一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法
-
申请号: CN202410406480.5申请日: 2024-04-07
-
公开(公告)号: CN117994822A公开(公告)日: 2024-05-07
- 发明人: 张国庆 , 汪海蕊 , 郑钰辉 , 张家伟 , 董仕豪
- 申请人: 南京信息工程大学
- 申请人地址: 江苏省南京市江北新区宁六路219号
- 专利权人: 南京信息工程大学
- 当前专利权人: 南京信息工程大学
- 当前专利权人地址: 江苏省南京市江北新区宁六路219号
- 代理机构: 南京苏高专利商标事务所
- 代理商 柏尚春
- 主分类号: G06V40/10
- IPC分类号: G06V40/10 ; G06V10/80 ; G06V10/82 ; G06V10/40 ; G06N3/0464
摘要:
本发明公开了一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法,包括以下步骤:(1)获取原始图像,划分训练集、验证集和测试集;对训练集中的可见光图像和红外图像进行预处理;(2)利用ResNet50作为骨干网络,添加辅助模态增强模块;(3)将步骤(2)输出的特征继续输入到由ResNet50进行特征提取和融合;(4)将ResNet50最终的输出特征进行全局平均池化和批量归一化,计算局部语义一致性损失;本发明减小可见光与红外之间的模态差异,学习到更多模态共享的身份信息,还能捕获不同感受野的身份信息,实现行人身份特征的充分挖掘。
公开/授权文献
- CN117994822B 一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法 公开/授权日:2024-06-14