公开(公告)号：CN118736363A

公开(公告)日：2024-10-01

申请号：CN202410781681.3

申请日：2024-06-18

申请人： 西安电子科技大学

发明人： 宋建锋 ,  任国栋 ,  苗启广 ,  权义宁 ,  赵佩佩 ,  张晨阳

IPC分类号： G06V10/80 ,  G06V10/77 ,  G06V10/774 ,  G06T7/246 ,  G06V10/56 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于Transformer的RGB‑T视觉多模态特征提取方法，主要解决现有技术在RGB‑T目标跟踪领域存在的多模态信息提取不足、多模态特征融合不充分的问题。方案包括：以RGB‑TIR图像对为输入，分别提取RGB图像的特征和TIR图像的特征，得到RGB特征向量和TIR特征向量，并处理使其形状相同；以处理后的特征向量为输入，融合模板区域特征和搜索区域特征，分别得到RGB图像和TIR图像的初始视觉提示向量；利用特征权重分配模块交互学习融合RGB特征和TIR特征，得到具有交互融合信息的加权特征，本发明能够有效提取可见光和红外图像的多模态信息，可用于RGB‑T目标跟踪领域。

公开(公告)号：CN118736485A

公开(公告)日：2024-10-01

申请号：CN202410781684.7

申请日：2024-06-18

申请人： 西安电子科技大学

发明人： 宋建锋 ,  张晨阳 ,  苗启广 ,  谢琨 ,  权义宁 ,  任国栋

IPC分类号： G06V20/52 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/094 ,  G06N3/098 ,  G06T5/50

摘要： 一种基于Transformer和对抗学习的跨模态行人重识别方法，首先使用模态特定特征提取器分别从可见光图像和红外图像中提取特征。然后，通过跨模态特征对齐模块对提取得到的模态特定特征进行调整，以减少模态内和模态间的特征差异。接着，使用权重共享的共享特征提取器提取模态共享特征，并采用多尺度特征融合方法，利用Transformer通过注意力机制将模态共享特征的上下文信息补充到模态特定特征中，以弥补模态特定特征在全局语义上的不足。在对抗学习过程中，交替训练分类器和特征提取器，从而更好地提取模态不变特征。本发明有效减少了可见光和红外图像之间的模态差异，显著提升了跨模态行人重识别的精度和鲁棒性，适用于安防监控、智能交通等领域。