本发明公开了一种基于视觉识别的脚手架搭建缺陷识别系统，包括：待检测图像采集模块获取待检测图像，变换模块将获取的待检测图像进行缩放为指定大小、旋转变换为指定方向的图像，视角锁定模块在3D模型中寻找与待检测图像相似度最大的区域，拍摄得到标准图像；名称参数生成模块在待检测图像上进行部件名称标注和参数的标注；对比模块对待检测图像与标准图像进行对比得到对比信息；缺陷确定模块接收对比模块的对比信息并确定待检测图像中是否存在缺陷的区域，若存在缺陷的区域则对此区域进行标注说明。本发明在需要对脚手架工程进行缺陷识时，将待检测图像变换为与视角锁定生成的标准图像进行对比，从而对比是否产生缺陷。