本发明涉及故障检测技术领域，特别是涉及一种智慧码头用故障检测系统及搭建方法，所述故障检测系统包括：数据采集模块，用于采集港口设备的振动信号；处理模块，用于对所述振动信号进行信号处理，判断信号处理过的所述振动信号是否为故障数据；提取模块，用于根据深度学习方法提取所述故障数据的故障特征，根据所述故障特征判断港口设备的故障类型；维修模块，用于根据所述故障类型对所述港口设备进行维修，并将维修过的所述故障数据更改为正常数据。本发明解决了现有技术中港口设备故障发现不及时，对设备和人身安全造成影响或事故的问题。