本发明公开了一种基于车载鱼眼相机的畸变优化多目标追踪算法，包括：S1、通过对鱼眼相机拍摄的图片进行预处理，将图像进行畸变矫正作为目标检测算法的输入；S2、进行初始化参数，该参数包括与距离相关的矩阵；S3、通过yolov5检测器检测出带有检测框的检测图；S4、将得到的带有检测框的检测图作为输入，得到标注框和特征图；S5、对得到的标注框筛选掉其中置信度小于最先置信度的带有检测框的检测图；S6、做非极大值抑制；S7、通过卡尔曼滤波器进行轨迹预测以及轨迹更新；S8、输出跟踪成功的标注框的ID。根据本发明，在鱼眼相机下实现目标追踪从而为自动驾驶提供辅助功能，实现了多目标的跟踪，大幅度的提高了准确率。