一种基于多模态信息融合的多船舶跟踪方法和装置

    公开(公告)号:CN118379328A

    公开(公告)日:2024-07-23

    申请号:CN202410545565.1

    申请日:2024-05-06

    IPC分类号: G06T7/246 G06V10/25

    摘要: 本发明提供一种基于多模态信息融合的多船舶跟踪方法和装置,获取当前帧中的目标边界框、可见光图像和红外图像,对可见光图像进行特征提取得到可见光特征,对红外图像进行特征提取得到红外特征;将可见光特征和红外特征进行融合,获取目标在当前帧下的表观特征,根据目标边界框获取目标在当前帧下的运动特征,根据历史帧获取其对应的表观特征以及目标的预测运动特征,将目标当前帧的表观特征和历史帧的表观特征进行关联,将当前运动特征和预测运动特征进行关联,根据关联结果对目标的跟踪轨迹进行更新;上述方法在特征采集的过程中充分利用了可见光图像与红外图像的关联和互补信息,增强了多模态特征的判别性和鲁棒性,提高了跟踪效率与准确性。