本发明公开了一种基于孪生三维卷积神经网络的行为分类方法，步骤1，调整图像帧的长、宽到孪生三维卷积神经网络要求的大小；步骤2，把图像帧序列按连续16帧一组进行分组，把每组图像帧输入孪生三维卷积神经网络，提取抽象时间特征与抽象空间特征，把抽象时间特征输入到反卷积网络，得到光流场；步骤3，计算得到总损失函数为，表达式为：L＝Lcls+αLflow；步骤4，利用反向传播技术优化网络参数，使网络性能达到最优。本发明算法具有速度与准确率上的双重优势。