本发明公开了一种基于监控视频信息的供电营业厅服务人员行为识别方法、装置、介质及设备，属于行为识别技术领域，用于解决目前服务人员难于监管的技术问题，方法包括：对视频帧进行预处理，提取视频帧的图像特征参数，送入循环神经网络中，得到图像特征参数与高维向量的映射；对语音信号进行预处理，提取语音特征参数，送入循环神经网络中，得到语音特征参数与高维向量的映射；在得到视频帧以及语音信号的高维向量的基础上，构建最终的分类器模型，建立从高维向量到最终不规范行为类别的映射；获取监测视频信息，基于分类器模型，对供电营业厅服务人员的行为进行识别。本发明具有操作简便、识别精度高、提高工作效率和服务水平等优点。