本申请公开一种基于视频监测的轧制状态跟踪方法和系统，方法包括：标识各轧制设备的位置坐标，利用相邻轧制设备将轧线划分成不同的轧制区间；加热炉与相邻轧机之间的摄像头实时监控钢坯头部和钢坯尾部，给每一支钢坯的钢坯头部和钢坯尾部分别分配编号并分别初始化位置坐标；随着钢坯的移送，计算钢坯头部和钢坯尾部在对应轧制区间内分别相对于最近经过轧制设备的相对距离s，并根据钢坯头部和钢坯尾部所处轧制区间分别确定钢坯头部和钢坯尾部的绝对位置坐标；将其位置坐标信息与时间标志，以及实时传递过来的各项生产参数合成后存储。本申请可以高精度的跟踪钢坯的实际位置，并且具有完全贴合实际位置的监测仪表跟踪信号实时记录。