本发明提供了一种基于人体骨架的行为识别方法及系统，对输入的待识别视频进行预处理，提取待识别视频中包含的人体骨架信息。利用注意力网络、图卷积神经网络和长短期记忆网络，处理人体骨架的相关信息得到待识别视频中每个人体骨架对应的行为特征表示。根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果，标签预测结果用于反映作业人员的行为是否为违章行为。基于人体骨架识别作业人员的行为，且可同时识别多个作业人员的行为，提高违章行为的识别效率和识别准确率。