公开了一种基于图像识别的变电站巡检方法及其系统。其首先将变电站二次系统的状态检测图像和参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，接着，将所述状态检测图像块的序列和参考图像块的序列分别通过孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，然后，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，最后，对所述分类特征矩阵进行规划化程度强化后通过分类器以得到用于表示变电站的二次系统的运行状态是否正常的分类结果。这样，可以提高检测的效率和准确性。