本发明公开了一种变电站缺陷判别方法，包括缺陷判别样本库采集与建立，构成一对判别样本；数据预处理，对采集的判别样本对进行图像配准对齐的预处理操作，标注出对齐后样本对中存在差异的区域位置；孪生网络结构构建，每对图像从神经网络中提取四种不同尺度的特征图作为图像特征表示；特征工程，提取适用于目标检测和度量学习的特征向量；目标检测和相似度度量分支设计，达到提升预测框精度和改善特征空间的优化目标；模型推理及逻辑性后处理。本发明还公开了一种基于孪生检测模型的变电站缺陷判别系统，包括用于上述方法的模块。本发明适用于缺陷样本难获得，常规识别方法难以区分等复杂场景，具有适用范围广、精度高等优点。