本发明公开了一种在线视频异常行为检测模型训练、异常检测方法及系统，通过训练方法得到的异常行为检测模型为2D‑3D DSTAE自动编码器，其利用2D卷积神经网络在2D空间层面采用视频帧稀疏采样策略，以避免帧间信息的冗余；对于时空层面在较远帧间采取对特征图执行3D卷积的方式实现端到端融合，以编码长时程视频序列的帧间上下文信息，在兼顾实时性和准确性的基础上解决了模型在异常数据上不能获得较小的重构误差问题。在线视频异常检测方法及系统，采用了同时维护工作记忆组和新收图像组的在线视频处理框架，每次检测时通过从两组视频中各采样一半视频帧来更新工作记忆组，在保证检测准确度的前提下，有效的提升了视频异常行为检测的实时性。