本发明涉及建筑施工领域，提出了基于机器视觉实现建筑施工下的异常识别方法及系统，所述方法包括：获取建筑施工现场的现场图像集，通过识别图像数据并进行预标注，得到图像标记数据，接着对标记数据进行去噪处理，得到去噪图像数据，并进行图像增强处理，得到增强图像数据，再对增强图像数据进行图像分割，得到分割图像数据，将分割图像数据划分为数据训练集，并提取图像特征，识别特征向量并计算特征相似度，从而构建异常识别模型，通过使用训练好的模型进行环境参数异常识别，提取异常因子并计算异常指标，生成预警信号实现对建筑施工现场的异常识别。本发明可以提高建筑施工中的异常识别效率。