本申请实施例提供一种基于视频分析的用户行为识别方法及系统，通过对多个用户行为标签进行训练，并利用深度学习神经网络，该方法可以更准确地识别和预测各种不同类型的用户异常行为。同时，通过使用用户异常行为标注数据，该方法能够更精确地定位视频中的异常行为。此外，由于该方法依赖于设定的视频数据生成模板视频数据序列，因此可以根据需要轻松地添加或修改用户行为标签。这意味着可以轻松适应新的或未知的异常行为。并且通过准确和及时地识别异常行为，可以帮助管理者更快地做出响应，从而大大提高了各个管理区域的安全性。