本发明公开了一种基于关键帧序列和行为信息的两阶段行为识别方法及系统，通过计算视频帧的稀疏表示结果之间的相似度，筛选掉相似的相邻帧，获得关键帧序列；使用行为类别标签的行为信息计算类别之间的相似度，并将所有的行为类别划分为若干个大类；构建两阶段的行为识别方法模型并训练，第一阶段的训练使网络具有粗分类的能力，第二阶段的训练使网络具有细分类的能力；最后使用训练好的模型对视频进行识别。本发明获取了视频的关键帧序列作为输入数据，使其包含更多的信息，并利用行为类别标签的信息，将网络训练过程和识别过程划分为两个阶段，最终使网络的学习过程更加容易，并提升了识别准确率。