公开(公告)号：CN117593334A

公开(公告)日：2024-02-23

申请号：CN202311442820.1

申请日：2023-11-01

申请人： 中国人民解放军国防科技大学

发明人： 蒯杨柳 ,  徐昕 ,  方强 ,  施逸飞 ,  崔家宝

IPC分类号： G06T7/246 ,  G06V10/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/084

摘要： 本申请涉及一种基于特征增强融合的RGBT实时目标跟踪方法和装置。所述方法包括：获取从第一帧RGBT图像和当前帧RGBT图像中剪裁的热红外和可见光图像对，并分别作为模板分支图像对和搜索分支图像对；分别提取模板分支图像对和搜索分支图像的可见光和热红外深度特征，基于通道注意力模块实现可见光和热红外图像通道维的特征增强，采用基于AiA模块的自注意力机制实现可见光和热红外图像空间维的全局特征增强，基于Transformer互注意力机制实现模板与搜索分支的特征交互融合实现目标定位，在保证算法实时性的同时提升了跟踪精度。