本发明公开了一种鲁棒性的视频目标对象跟踪方法，包括：基于粒子滤波重要性采样原理采样获取当前帧的候选目标粒子；基于候选目标粒子与前面跟踪结果的余弦相似性滤去离异粒子；筛选后的侯选目标粒子基于模板字典的线性表示；线性系数矩阵的低秩稀疏数学模型；基于不精确拉格朗日乘子优化算法求解系数矩阵；根据判别函数选出最佳的候选目标作为跟踪结果；在线更新模板字典。本发明的方法的鲁棒性保证了方法能够应对各种挑战因素，对视频中目标对象进行准确跟踪。克服视频中目标对象因光照变化、尺度变化、遮挡、变形、运动模糊、快速运动、旋转、背景杂波、低分辨率等原因导致跟踪不准确甚至漂移。