本申请提供了一种基于改进广义交并比的多类别多目标跟踪方法及装置，涉及自动驾驶技术领域，所述方法包括：获取检测器输出的当前图像帧中的所有运动目标的检测框；利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。本申请提高了检测框匹配的正确率，提高了多类别多目标的跟踪精度。