公开(公告)号：CN114913206A

公开(公告)日：2022-08-16

申请号：CN202210529729.2

申请日：2022-05-16

申请人： 广东工业大学

发明人： 舒诚龙 ,  敖银辉 ,  黎明峻 ,  黄晋豪

IPC分类号： G06T7/246 ,  G06T7/277 ,  G06V10/44 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于多模态融合的多目标跟踪的方法和系统，包括目标检测模块、特征提取模块、特征融合模块、相似度计算模块及数据关联模块；其中，所述目标检测模块采用yolov4算法从图像获取目标的2D检测框，并采用PointPillars算法从点云获取目标的3D检测框，所述特征提取模块用于对检测框进行处理，提取目标的2D、3D外观特征，本发明通过多个独立的传感器特征提取来保持可靠性，利用多模态加权融合方式，得到更全面的目标特征，提高精度，可以有效避免单一传感器失效问题，使用图神经网络和图卷积优化目标关联，提升准确度，滤波预测更新，弥补目标的丢失问题，对多个目标进行实时跟踪，生成对应ID，关联前后帧的同一目标，实现高精度定位的效果。