本发明公开了一种基于尺度上下文回归的目标追踪与跟随方法，包括：通过单目摄像机采集图片，用户通过在待跟随目标上设置一个标识物体所在图像区域的矩形包围盒来初始化追踪过程；使用尺度上下文回归模型进行目标追踪，获取目标位置和尺度；使用基于局部块的追踪目标质量评估方法，判断是否发生目标丢失并及时的进行重检测；建立跟随者自身与待跟随目标的相对位置关系，同时基于此相对位置关系调整跟随者自身位姿。本发明在目标跟随过程中，增强系统判别与待跟随目标具有相似语义干扰物的能力，通过后处理使系统能够判断目标是否丢失并及时进行重检测，建立自身与目标的相对位置关系，最后调整自身位姿进行跟随。