本发明公开了一种基于三维骨骼与LSTM的工人动作识别方法及装置，其中，该方法包括：采集特征动作库中的二维图像数据和三维点云数据；结合二维图像数据和三维点云数据提取其中的三维人体骨骼特征，并根据三维人体骨骼特征进行关节夹角计算，以形成特征向量；对三维人体骨骼特征进行检测，将关节点误识别形成的异常关节数据进行修复；将训练图像数据输入长短期记忆网络中进行有监督训练，获得具备识别能力的模型，并将测试图像数据输入具备识别能力的模型中，以输出动作类别。该方法以计算机视觉技术和深度学习算法为基础，逐步实现了特征提取与动作表示，以及对异常数据的检测修复，最终能够准确识别施工现场工人的不安全行为。