本发明公开了一种图像和点云融合的轨道弹条扣件缺陷全面检测方法，其涉及机器视觉缺陷检测及大数据处理技术领域。该方法包括：获取包含弹条扣件的轨道三维点云和对应的RGB深度图像；从RGB深度图像中检测出外观缺陷扣件和外观正常扣件；根据RGB深度图像和三维点云之间的映射关系分割出外观正常扣件的三维点云，并从外观正常扣件的点云中分割出弹条三维点云数据和绝缘垫块三维点云数据；从弹条点云数据中提取弹条中部区域骨架点和最低点，计算最低点到绝缘垫块所在平面的距离，通过距离判断外观正常扣件的松、紧及正常状态。本发明通过将二维图像与三维点云的融合，可以快速全面检测扣件缺陷，还能够降低轨道检测硬件的成本，提高轨道维护效率。