本发明提出一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法，其首先对获取监控场景下的人体动作分析数据库，并对该数据库进行随机划分，分为为训练集和验证集；其次对划分完成的训练集和验证集视频数据进行数据增强处理，并对视频数据进行编码。然后直接从输入视频图像序列中检测到运动目标，并进行目标识别，进而跟踪感兴趣的运动目标；最后对感兴趣的运动目标进行构建时空骨骼图卷积神经网络模型，使用训练集进行训练并利用自适应矩估计梯度进行优化网络参数权重，使用验证集进行特定目标跟踪的卷积神经网络模型的准确率预测。其不仅可以扩大原始动作数据量，还可以增强模型的鲁棒性，进而提升最终的动作识别准确率。