本发明公开了一种基于双目视觉的轨道道砟检验系统，其是设置在铁轨上，且包括车轮驱动模块、多个车轮、MCU模块、存储模块、通讯模块、FPGA模块、第一CCD传感模块、以及第二CCD传感模块、以及人机交互模块，车轮驱动模块与多个车轮、以及MCU模块电连接，MCU模块与通讯模块和FPGA模块电连接，FPGA模块与存储模块、第一CCD传感模块、第二CCD传感模块、以及人机交互模块电连接，第一CCD传感模块和第二CCD传感模块的光轴垂直于铁轨。本发明能够解决现有道砟人工检验存在的检测误差大的技术问题，以及由于道砟检验的工作量大导致人力疲劳、视觉疲劳，且相当消耗时间成本的技术问题，以及由于道砟检验的工作量大导致人力疲劳、视觉疲劳，且相当消耗时间成本的技术问题。