本申请公开了一种基于视觉跟踪的筛上杂物实时监测方法，相机1获取筛机前侧图像建立筛上杂物的训练样本集；根据光照条件的不同利用生成对抗网络扩充训练样本集，基于深度语义分割网络进行训练得到语义分割检测模型；根据语义分割检测结果在原图绘制正外接矩形截取检测到的杂物目标；通过相机2获取筛机后端图像，提取语义分割检测模型检测到的杂物目标特征进行特征匹配，检测相机2中杂物位置；以特征匹配检测到的杂物目标为初始帧，进行目标追踪；融合语义分割和目标追踪信息，完成杂物实时定位追踪。本方案的自动化程度更高，且能够完成各种类型杂物的精准监测。通过双工业相机在开放式场景下对筛上煤中杂物进行监测，相对于单相机更加高效。