本发明提供了一种基于ECO与伺服联动的无人机目标跟踪方法及装置，该方法包括：确定跟踪目标；将跟踪目标作为样本放入ECO算法训练相关滤波器；读取下一帧图像，获取目标位置及其置信度概率；依据当前帧跟踪结果调整伺服器的镜头，使得目标始终处于镜头的正中间，获取目标的运动方向和速度；推断出当前帧目标可能处于的范围；判断当前帧跟踪结果是否处于推断的范围内，如果不处于，根据目标的运动方向和速度，匀速运行一帧的时间到达的位置作为样本；如果处于，则将当前帧跟踪结果作为样本；更新ECO算法的样本集；更新相关滤波器；循环执行上述步骤，直至处理完。本发明在目标丢失时，能够根据目标运动轨迹来重捕获目标位置，提升跟踪效果。