本发明提供了一种基于智能摄像机的高速视觉系统及其目标跟踪算法，系统包括：处理模块、图像获取模块、云台控制模块；系统在目标处于图像中部预设区域时采用第一目标跟踪算法对目标进行跟踪，在目标处于图像边缘预设区域时切换为第二目标跟踪算法跟踪目标，当目标移位到图像边缘预设区域时，处理模块根据计算出目标的运动速度、运动方向和位置，向云台控制模块发送控制云台旋转的第一控制命令；当目标从图像边缘预设区域移位到图像中部预设区域时，处理模块向云台控制模块发送停止云台旋转的第二控制命令，通过区别设置避免了只采用一种跟踪算法要么识别精度不够，要么对系统性能要求过高导致处理速度过慢的问题。