本发明涉及图像识别技术领域，公开了一种驾驶员异常行为识别方法、装置、设备及存储介质。该方法包括：获取摄视频样本集；对视频样本集进行分类并设置标签，生成具有分类标签的视频样本，根据具有分类标签的视频样本创建训练集和测试集，对训练集进行数据增广并生成增广训练集；搭建3D ResNet网络，将增广训练集输入所述3D ResNet网络进行模型训练，得到预测模型，并利用测试集验证预测模型；将实时采集的视频数据输入预测模型，生成预测结果，根据预测结果识别驾驶员是否存在异常行为。本发明通过深度学习算法，实现车队监管系统实时监测驾驶员的状态，通过自动化识别驾驶员异常行为，从而大幅减少人力投入，同时提升监管的效率和准确性。