本发明涉及一种基于时空特征识别的人脸疲劳驾驶检测方法及装置，其中方法包括：步骤S1：从视频数据库中提取脸部表情图并预处理；步骤S2：提取训练集数据；步骤S3：将训练集数据用于AlexNet网络进行训练；步骤S4：对由待识别视频处理得到第一人脸描述符；步骤S5：将第一人脸描述符输入GhostVLAD层，得到单个固定的D维的第二人脸描述符；步骤S6：对输出的第二人脸描述符进行标准化，以及输出其识别结果；步骤S7：同一待识别视频中得到的各样本的识别结果，计算疲劳指标PERCLOS值、打哈欠频率和每分钟平均闭眼时长，并进一步按照加权求和得到疲劳驾驶指标以判断是否疲劳驾驶。与现有技术相比，本发明极大提高疲劳驾驶判断的准确率和可行性。