本发明涉及光伏表面缺陷识别技术领域，提供了一种基于端对端架构的光伏表面缺陷识别方法及系统，包括：获取光伏表面图像；采用基于端对端架构的光伏缺陷识别模型对光伏表面图像进行缺陷识别，得到光伏表面图像的缺陷区域；其中，基于端对端架构的光伏缺陷识别模型包括依次连接的特征提取层、模型编码器、模型解码器和线性层；所述模型编码器利用多尺度可变形注意力机制来处理所述特征提取层提取到的图像特征图，得到多尺度特征图；所述模型解码器利用自注意力机制与可变形交叉注意力机制对多尺度特征图进行处理，将得到的解码特征和参考点输入所述线性层。不仅提高了稀疏光伏缺陷的识别精度，而且改善了以往缺陷识别模型收敛慢的弊端。