本发明公开了一种基于图像处理的水射流钢轨打磨车吹吸污方法及系统，该方法包括：通过异物检测相机采集钢轨和道床的原始表面特征图像后传输到异物视觉处理系统；异物视觉处理系统通过相机标定模块对模板图像进行标点提取匹配得到标定参数；将标定参数导入图像处理模块进行图像预处理，通过标定参数矩阵对预处理图像进行坐标变换还原；异物识别定位模块通过模板匹配和遗传算法对钢轨异物进行检测，并获得钢轨异物检测数据；数据处理模块对钢轨异物检测数据进行存储查找分析并生成吹吸污方案；根据视觉检测算法识别定位每个区域的异物附着信息，并智能控制各个分区的吹吸污强度，进而实现对整个钢轨打磨碎屑及污物的自适应清理。