本发明涉及杆塔缺陷识别领域，公开了一种基于无人机巡检的杆塔缺陷识别方法，包括：收集杆塔件和节点的缺陷样本和非缺陷样本图像，构成输电线路智能缺陷检测样本数据集；采用人工标记出杆塔缺陷位置及缺陷类型，将每张图像的标记结果存储成xml格式；采用two-stage的深度卷积神经网络目标检测算法训练杆塔缺陷检测模型；将杆塔陷检测模型部署到后端服务器；采集无人机的实时视频，提取关键帧图像并发送后端服务器，调用杆塔陷检测模型，检测出杆塔中存在的缺陷及缺陷类型，并发出预警信息。本发明实现杆塔件和节点损伤识别诊断的状态监测，对杆塔件和节点损伤缺陷进行识别预警，从而稳定检测电力设施的安全状况，保障线路的安全运营。