本发明公开了一种基于特征识别的热轧钢板在线视觉跟踪算法，利用热轧钢板的光热、多边形、尺寸和在线数量等特征自适应阈值，精确识别出钢板最大外轮廓，完成运动过程中钢板的视觉跟踪。通过以上特征，可有效降低或消除水汽、背景物体及其他光源对钢板识别的干扰。本发明对热轧区域的各种工况进行了测试，保证了算法的通用性和较强的鲁棒性。利用本发明可实现对热轧区域在线钢板的位置跟踪，对全流程的工艺执行提供了精确参考，经上线实测后，50m范围跟踪位置精度约0.1m。