本发明涉及基于复杂背景下的移动目标检测方法和系统，包括步骤：粗检阶段：将连续5帧视频图像输入由ConvLSTM网络和YOLO4网络组成的粗检模型中，其中ConvLSTM网络捕获运动信息，YOLO4网络利用含有运动信息的特征图定位目标在每一帧中的空间维度位置；细检阶段：利用目标跟踪法跟踪粗检阶段得到的目标在连接5帧图像上的空间维度位置，并获取最小外切矩形后裁剪得到5张图像，将5张图像融合构成一个15通道的图像后输入细检模型中，经过细检得到最终检测结果。本发明分为粗检阶段和细检阶段，两阶段充分利用了移动小目标的运动信息，来提高复杂背景下移动小目标检测的精度，减少了误报漏报，减轻了人工介入的程度。