本发明公开了一种列车的车轮踏面缺陷检测方法及其系统，包括：采集车轮踏面的二维图像数据；构建用于提取缺陷区域的神经网络模型；将所述二维图像数据输入所述神经网络模型；所述神经网络模型将所述二维图像数据分割为多类图像区域；基于多类所述图像区域提取多个缺陷区域信息并生成检测报告。本发明通过语义分割网络针对频繁出现缺陷的区域进行精准的划分，降低图像背景干扰后，能够通过目标检测模型准确的提取缺陷区域信息及缺陷类型，提高缺陷检测准确率且降低了检测结果的漏报率和误报率，解决了传统的车轮踏面缺陷检测方法存在的检测结果可靠性低的问题。