本发明公开了一种变电站安全围栏翻越行为识别方法、系统及设备。本发明通过在正样本以及负样本的基础上构建视频数据集D1，在视频数据集D1的基础上得到骨架点图像序列集合K1以及光流视频样本集D2，对人体骨架点图像序列集合K1进行张量投票得到运动流视频样本集D3，并将光流视频样本集D2和运动流视频样本集D3输入到深度学习网络中来进行建模，最后通过训练好的深度学习网络对实时视频进行分类，判断实时视频中是否存在翻越围栏的行为。本发明实施例利用张量投票克服骨架点误差带来的不利影响，并综合考虑了光流和运动流对行为识别的影响来构建深度学习网络，提高了行为识别的准确度。