本发明公开了一种基于视频的变电站人员车辆违规检测方法及系统，属于图像检测技术领域，包括以下步骤：S1：人员和车辆目标检测；S2：人员和车辆位置违规检测；S3：人员图像裁剪；S4：安全帽、香烟检测及工装分类。本发明采用级联的方法解决变电站违规问题，在第一级使用实时检测器，在后面层级针对每个具体问题具体分析，采用分类和检测相结合的方法，可以在牺牲少量速度的前提下大大提高精度；通过分类来解决人员工装违规问题，可以减少人工数据标注量，覆盖更多的工装数据，从而降低误检率，同时分类可以保证每个人员必定会被分成工装正常和未穿工装，降低漏检率；把人员图像单独裁剪出来进行吸烟和安全帽检测，提高了检出精度。