本申请涉及一种基于深度学习的视频行为识别方法，所述方法中视频行为识别网络以普通2D网络作为骨干网络，使用双线性操作来提取帧间信息特征，然后将帧内信息和帧间信息进行融合得到高辨识度的时空特征用于行为分类。仅仅增加少量的参数就使得2D模型具备处理三维视频信息的能力，相对于传统3D卷积网络能够在降低计算负载的同时进一步提高行为识别的准确率。本发明特别适合用在有实时视频分析需求但是资源有限的场合下，在智能安防、自动驾驶等领域有着广阔的应用前景。