公开(公告)号：CN118570878B

公开(公告)日：2024-10-11

申请号：CN202411031140.5

申请日：2024-07-30

申请人： 电子科技大学(深圳)高等研究院

发明人： 段立新 ,  张兴帅 ,  李文 ,  张彦如 ,  万少华 ,  黄野

IPC分类号： G06V40/20 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/09

摘要： 本发明实施例公开了一种不完全多模态行人重识别方法及系统，所述方法包括：数据集构建步骤：构建三种模态配对的行人图像数据集；模型构建步骤：构建基于互学习的不完全多模态行人重识别模型；训练步骤：使用所述数据集的数据训练所述模型，得到训练好的模型；识别步骤：将任意模态组合的行人图像输入训练好的模型，提取目标行人的外观特征，并与图库中的行人特征计算相似度，按照相似度排序输出结果，完成行人重识别。本发明同时利用可见光‑近红外‑热红外中的互补信息，在复杂光照条件和恶劣天气下表现良好。此外，本发明实现了缺失模态特征的精细化补偿，提高了模态完备和模态缺失两种场景下的性能。

公开(公告)号：CN118570878A

公开(公告)日：2024-08-30

申请号：CN202411031140.5

申请日：2024-07-30

申请人： 电子科技大学(深圳)高等研究院

发明人： 段立新 ,  张兴帅 ,  李文 ,  张彦如 ,  万少华 ,  黄野

IPC分类号： G06V40/20 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/09

摘要： 本发明实施例公开了一种不完全多模态行人重识别方法及系统，所述方法包括：数据集构建步骤：构建三种模态配对的行人图像数据集；模型构建步骤：构建基于互学习的不完全多模态行人重识别模型；训练步骤：使用所述数据集的数据训练所述模型，得到训练好的模型；识别步骤：将任意模态组合的行人图像输入训练好的模型，提取目标行人的外观特征，并与图库中的行人特征计算相似度，按照相似度排序输出结果，完成行人重识别。本发明同时利用可见光‑近红外‑热红外中的互补信息，在复杂光照条件和恶劣天气下表现良好。此外，本发明实现了缺失模态特征的精细化补偿，提高了模态完备和模态缺失两种场景下的性能。