本发明公开了钢轨擦伤检测方法及装置，方法包括：采集钢轨顶面图像；将钢轨顶面图像输入钢轨擦伤识别模型，得到钢轨擦伤区域；历史钢轨顶面图像集包括已标注擦伤区域的历史钢轨顶面图像；根据钢轨擦伤区域确定钢轨擦伤面积；对钢轨擦伤区域进行涡流检测，得到探头阻抗等效电压幅值；将探头阻抗等效电压幅值输入擦伤深度预测模型，得到钢轨擦伤深度；所述擦伤深度预测模型利用不同擦伤深度的钢轨对应的探头阻抗等效电压幅值对全连接深度神经网络训练得到；根据钢轨擦伤面积及钢轨擦伤深度确定钢轨擦伤等级，本发明综合涡流和机器视觉检测，提高了钢轨擦伤检测的准确性及效率。