本发明公开了一种基于多尺度时空残差图卷积神经网络的动作识别方法，包括：基于人体动作视频获取人体关节点数据和人体骨骼数据；构建基于图卷积网络的多输入分支架构，将人体关节点数据和人体骨骼数据输入基于图卷积网络的多输入分支架构得到融合特征图；构建基于多尺度时空残差图卷积神经网络，将融合特征图输入多尺度时空残差图卷积神经网络得到动作识别结果。本发明针对人体骨架特征，在数据预处理阶段，将人体关节点数据和人体骨骼数据进行早期融合。在网络结构上，采用分层残差架构，聚合空间图卷积和时间卷积生成的时空特征形成时空残差图卷积模块，从而有效获得空间和时间域中的短期和长期依赖性，并在一定程度上降低网络参数量。