本发明公开了一种基于机器视觉的电力作业现场违章判断方法，包括以下步骤：S1：获取作业现场相关历史作业图像信息；S2：利用无缝融合算法进行图像样本的生成，以扩充原始图像数据集，并采用XGBoost算法对扩充后的数据集分类，进行质量评定筛选；S3：利用目标检测方法对电力作业现场人员进行分类识别，对违章行为进行识别和研判，识别结果联动中心报警记录。本发明的实质性效果包括：具有较好的违章行为识别性能，能明显提高违章行为的识别准确率，能够根据违章行为识别结果实现作业人员违章行为类别识别、违章行为分类告警、识别结果联动中心报警等电力安全管控功能。