本发明公开了一种适应场景的视频分析系统及方法，包括目标检测模型单元、误报判断模块和时序信息辅助判断模型单元，对目标检测模型识别出目标发出报警提示的图片进行判断，根据判断结果将目标检测模型识别出目标发出报警提示的图片放入背景图片库或训练集中；将背景图片和训练集混合在一起，然后对目标检测模型进行再次训练，得到满足精度的训练好的目标检测模型；通过时序信息辅助判断模型对满足精度的训练好的目标检测模型的检测结果进行过滤。本发明不仅泛化能力强，而且检测精度高。