本发明公开了一种基于两种背景建模时机的地铁车厢遗留物检测方法，包括：1)在列车载客运行前建立初始混合高斯双背景模型和初始LBP特征背景模型。2)结束载客运行前使用基于深度学习的人体检测器进行清客检测。3)清客后建立当前双背景模型，4)根据初始双背景模型和当前双背景模型，获得双背景差分前景；根据初始LBP背景模型，获得LBP特征前景。5)综合双背景差分前景和LBP特征前景，获得遗留物候选。6)在特定数据集上训练深度学习二分类网络，将遗留物候选输入网络，判断其为遗留物还是背景物体。根据本发明，解决车厢遗留物检测的光照鲁棒性，减小液晶屏滚动、把手晃动对检测效果的干扰，增加检测结果的可靠性。