本发明涉及材料硬度检测技术领域，具体为一种基于视觉定位的螺栓硬度检测系统，包括：螺栓下料传送带，设置有螺栓托盘；视觉识别模块，位于所述螺栓托盘上方；六轴机器人，位于所述螺栓下料传送带一侧，与所述视觉识别模块通讯连接；硬度检测与分类模块，位于所述螺栓下料传送带的侧边两端，与所述机器人上下料模块通过I/O进行通信连接。本发明提供了一种基于视觉定位的螺栓硬度检测系统，通过引入与视觉系统相结合的机器人到螺栓硬度检测上料过程，将机器视觉技术与机器人巧妙地融合，可以完成复杂工作，保证高效率，提升了螺栓硬度检测效率、降低了人力成本。