本发明提供了一种轨道缺陷检测系统鲁棒性提升方法，首先对采集到的轨道缺陷数据进行预处理，按照8:1:1的比例划分为训练集、验证集和测试集；基于YOLOv5目标检测模型生成轨道缺陷检测模型，采用一系列指标对轨道缺陷检测模型性能进行评估，通过训练集进行初训练得到初训练模型；采用变异生成算法生成更具多样性的训练样本，将训练集上生成的多样性数据与原始训练集合并来对初训练模型进行重训练，最大化模型在多样性测试样本上的性能，以此提高轨道缺陷检测系统的鲁棒性。结果显示相较于初训练模型，重训练模型在不同扰动下各方面性能都有所提升，重训练轨道缺陷检测模型在测试集上表现出更好的效果。