本发明公开了一种视频跟踪系统，图像输入支路接收图像采集设备采集的图像信号并发送至FPGA，FPGA将图像信号处理后发送储存单元储存为缓存图像；FPGA调取缓存图像并对缓存图像中的光斑进行检测后对光斑定位；FPGA根据光斑定位结果得出方位和俯仰调整数据，并将方位和俯仰调整数据通过串口通信支路发送至方位俯仰调整机构，方位俯仰调整机构根据方位和俯仰调整数据对图像采集设备的方位和俯仰调整使得图像采集设备持续捕捉光斑。本发明还公开了一种视频跟踪方法。本发明一旦检测到反射光斑后，视频跟踪系统发送指令控制转台停止转动，之后计算反射光斑位置，输出方位、俯仰调整参数至转台，最终使反射光斑位于图像正中心。