疲劳程度多模态融合检测方法、电子设备及存储介质
摘要:
本发明公开了一种疲劳程度多模态融合检测方法、电子设备及存储介质,其方法包括:S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集,通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集;S2、疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块并分别进行模型训练;S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B;将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C;然后与中文语言预训练模型输出的疲劳状态分值结果A通过加权融合得到加权疲劳数据结果。本发明实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合,评测结果可靠。
0/0