本发明公开了一种基于三维交替更新网络的视频行为识别方法，涉及计算机视觉领域。该视频行为识别方法包括步骤：S1、将视频分为连续的帧，对数据集进行预处理；S2、对参与训练的视频片段执行数据增强操作；S3、将执行数据增强操作后的训练数据放入3D CliqueNet架构中进行训练，获得网络的预训练模型；S4、输入测试数据得到测试数据集的行为分类结果，对经过训练的网络进行测试。本发明的方法使用3D CliquNet来提取时空信息，该网络能最大化提升深度网络中的信息流的流动，可以减少训练困难以及更有效的利用参数。通过在Kinetics数据集上进行预训练，该方法具有较高的行为识别表现以及对于复杂环境具有更好的鲁棒性。