本发明提供了一种道岔联结螺栓病害检测方法及系统。本发明在进行横向螺栓缺失或松动、纵向螺栓缺失或松动、轮毂螺栓松动检测时，采用了预先构建背景数据库，对道岔区域进行自动标注，再人工核对的方式，避免了自动标注方式存在的错误，相比直接在当前图像上进行检测，可以通过人工核对，确保道岔区域联结螺栓标注百分之百正确，可以做到一劳永逸。在这个基础上，再利用历史数据比对方法，可以准确有效地进行螺栓松动检测。相比直接利用AI方法在前景图像中先检测、识别、定位螺栓，再进行高度测量的方法，具有更高的鲁棒性。