本发明公开了一种基于响应判别的多尺度相关滤波目标跟踪方法及装置，具体包括：确定当前帧图像的初始目标位置及初始目标尺寸；根据初始目标尺寸确定跟踪窗口尺寸；基于初始目标位置和跟踪窗口尺寸，提取当前帧图像中的采样图像块；对采样图像块进行目标检测，获取该采样图像块对应的响应图，提取响应图的最大响应峰值作为第一最大响应峰值；响应于第一最大响应峰值大于等于第一阈值，根据第一最大响应峰值确定当前帧图像中的最终目标位置和最终目标尺寸；本发明不必要对每一帧图像都进行多尺度检测，从而降低视频序列中进行目标跟踪的计算量，缩短计算时间，以实现视频序列的实时跟踪。