本发明公开了一种基于视频分析的轨道异物侵限监测方法。该方法包括步骤有轨道视频采集、去雨干扰、动态目标检测、异物类型识别，通过临近轨道设置视频监测的摄像机，将视频图像实时传输给轨道视频监测平台，然后接收的视频图像进行目标检测，当下雨时可以进行去雨干扰，从中发现动态目标，利用轨道异物检测模型对动态目标进行识别，确定异物类型和报警等级。该监测方法对视频图像基于背景模型进行动态目标识别，能够适应背景模型的环境变化，还能够通过人工智能分析确定侵限异物并报警，提高了监测的环境适应性和准确度。另外，本发明还公开了基于视频分析的轨道异物侵限监测系统。