本发明提供了一种作业流程规范性识别模型的构建方法，基于历史数据建立建模数据集，包含工人的规范和非规范施工流程视频；获取视频序列中的关键点，并基于关键点的局部领域构建关键点的时空特征描述，可以有效减少视频数据规模，并且保留了有效信息；对数据集中每个视频进行时域划分，使之单个时域区间内的视频内容更具逻辑性，避免了长时序视频的处理复杂度；基于单个时域区间的关键点构建特征图，则每个视频将由一串顺序的特征图表示，既保留了空间位置信息，还包括一定时序信息；由视频的特征图序列来建模和优化SVM分类器，并应用训练后的分类器识别作业流程是否规范；可以有效应用于工人作业的操作规范流程鉴别。