本发明涉及一种裂缝锈蚀自动识别方法及系统，包括：裂缝锈蚀自动检测设备采集建筑表观图像，将建筑表观图像输入至压缩采样模型后得到图像压缩值，并将图像压缩值传输至后台终端；后台终端将接收到的图像压缩值输入至图像重构模型，得到重构后建筑表观图像，并将重构后建筑表观图像输入至裂缝锈蚀识别模型进行裂缝锈蚀识别检测；压缩采样模型、图像重构模型以及裂缝锈蚀识别模型，为根据联合训练策略，对预设的压缩采样神经网络、图像重构神经网络以及裂缝锈蚀检测神经网络进行联合训练得到。本发明提供的方法及系统，可克服光照阴影和建筑表观污渍痕迹等的干扰，并在实现高压缩度的同时保证重构图像的高保真度，能够更为准确的识别到裂缝锈蚀。