本发明公开了一种基于场景理解的施工现场工人不安全行为识别方法，包括以下步骤：采集实体的二维彩色图像和三维点云数据；对二维彩色图像进行标注，得到标注文件，其中，标注文件包括训练集、验证集和测试集；将训练集输入Mask R-CNN中进行训练，获得多个候选实体识别模型，利用验证集比选候选实体识别模型的平均精度均值，得到最优实体识别模型；根据最优实体识别模型获取工人关节点三维空间坐标、实体上的关键点三维空间坐标，通过实体间距离计算和方位关系判别实现不安全行为的识别，从而构建基于场景理解的施工现场工人不安全行为识别方法。该方法可以有效识别靠近危险源、PPE使用不当等不安全行为，并为动作识别提供环境信息。