本发明提出一种人体动作识别方法，该方法基于深度学习技术，所述人体动作识别方法包括训练和识别两个阶段，训练和识别阶段所用的网络中包括序列特征提取模块，序列特征提取模块包括彩色图深度学习网络、光流深度学习网络的CNN网络，所述彩色图深度学习网络包括三层LSTM层，所述光流深度学习网络包括两层LSTM层。增加LSTM层后，使得识别方法有学习长图像序列的能力，因此能够更好的利用序列视频的时序信息，有效提高检测准确度。同时深度学习网络中使用了采用四层结构的卷积网络，卷积网络用于改变特征码的感受野，使得图像序列中的一部分图像也参与到检测结果的确定中。