本发明属于计算机视觉技术领域，公开了一种基于残差注意力块和自选择学习结合的视频异常检测方法，包括采集原始视频并提取前后若干帧对象构建时空立方体；随机打乱时空立方体的空间或时间顺序，分别构造空间和时间拼图立方体；利用两种拼图立方体训练由两个预测分支组成的顺序预测模型，两个预测分支由残差注意力块构建；利用自选择学习策略分别对两个预测分支的训练样本损失进行自选择学习，选中的样本损失参与梯度反向传播过程，多轮迭代训练得到一个完整的视频异常检测网络模型；对待测视频同样进行对象提取操作，不打乱顺序，直接输入到模型中计算预测得分，最终实现视频异常检测。本发明能使无监督视频异常检测的精度得到显著提高。