本发明提供了一种基于检测模型损失函数的索塔裂缝自动识别方法及系统。该方法包括：采集混凝土索塔现场病害图，对裂缝图像进行灰度化处理；基于AttentionU‑net检测模型，对灰度图像通过4次下采样；对结果实施四次上采样，将图像中小尺度的特征放大；将和编码部分同样尺度的特征共同作为输入从而进行特征融合；采用混合损失函数模型的F‑measure指标，判断裂缝图像中所有裂缝的特征点的像素总数，识别裂缝像素与背景像素；提取病害特征值，区分裂缝与无关像素特性；确定图像裂缝的预测结果。本发明提供的基于检测模型损失函数的索塔裂缝自动识别方法及系统能够提升混凝土裂缝图像自动识别效率，提高裂缝的特征提取能力。