本发明公开了一种视频行为识别方法及系统，对待识别视频的进行多级特征提取；利用深度全卷积网络对目标对象的ROI进行初检测；利用马尔科夫随机场进行ROI的微调，获得最终目标对象的ROI集合；基于最终目标对象的ROI集合分别同时进行单人行为识别和群体行为识别。本发明不仅考虑到了群体内部时序信息的一致性，同时也考虑到了个体时序信息的差异性，基于ROI时序推理的单人行为识别有助于更好地提取具有判别性的单人行为特征，提升识别精度；基于ROI匹配递归卷积网络可以融合和传播时域中的单人的ROI的信息，是解决视频行为识别问题的有效方法。