本发明公开了一种室外施工人员智能视频跟踪算法，包括以下步骤：S1：摄像机采集室外现场施工场景的工作图像，并根据采集的工作图像对施工人员相对位置进行人工标定；S2：采用基于深度学习的Yolo目标检测算法对步骤S1标定完成的图像数据集进行机器训练；S3：通过采用训练完毕的算法模型，对室外施工场景中的给定区域进行检测，追踪给定区域的施工人员及其运动轨迹；S4：根据步骤S3获取的跟定区域施工人员的运动轨迹，计算施工人员是否在给定区域内，进而判断是否规范作业。本发明算法步骤简单，能够大大提高室外施工现场的监控精度和效率，对施工人员进行连续的监控保证能够实时追踪不会丢失目标，有效监控施工人员的作业全过程。