本发明提供了一种基于视觉的巡线位置偏移识别系统，包括：特征提取网络、电力线识别模块、电力塔架及部件识别模块；各个部分相互配合，在无人机巡线时实时执行当前位置识别，并在无人机偏离巡线目标时发出信号。特征提取网络负责提取图像的各级特征，用于后续的识别工作。电力线识别模块在训练时仅需类别标签，大大降低了样本标注的工作量。电力塔架及部件识别模块基于目标检测算法，在电力线识别模块识别到电力线形状变化时开始识别此处的部件类型，根据识别框的大小及位置确定无人机当前位置是否偏移。同时提供了一种识别方法和无人机。本发明实现了对巡线无人机的位置识别，并在位置偏移时发出信号，可用于辅助操控或无人机自动巡线等工作。