- 专利标题: 疲劳程度多模态融合检测方法、电子设备及存储介质
-
申请号: CN202310657938.X申请日: 2023-06-05
-
公开(公告)号: CN116844080B公开(公告)日: 2024-06-18
- 发明人: 王旭辉 , 刘星俞 , 李郁 , 陈京松 , 乔静 , 田先卉 , 荀向东
- 申请人: 中国民航科学技术研究院
- 申请人地址: 北京市朝阳区西坝河北里甲24号
- 专利权人: 中国民航科学技术研究院
- 当前专利权人: 中国民航科学技术研究院
- 当前专利权人地址: 北京市朝阳区西坝河北里甲24号
- 代理机构: 成都华辰智合知识产权代理有限公司
- 代理商 秦华云
- 主分类号: G06V20/40
- IPC分类号: G06V20/40 ; G10L25/24 ; G10L25/51 ; G06V40/16 ; G06V10/82 ; G06F40/279 ; G06F40/284 ; G06N3/0442 ; G06N3/048 ; G06N3/045 ; G06N3/0464 ; G06F40/289 ; G06F40/295
摘要:
本发明公开了一种疲劳程度多模态融合检测方法、电子设备及存储介质,其方法包括:S1、构建表情识别模型采集民航待测人员在应答测评量表时的视频数据集,通过声学采集模块采集民航待测人员在应答测评量表时的声学数据集;S2、疲劳程度识别模型包括视频疲劳识别模型、声学疲劳识别模型和量表评测计算模块并分别进行模型训练;S3、将视频数据集输入疲劳程度识别模型中得到疲劳状态分值结果B;将声学数据集输入声学疲劳识别模型中得到疲劳状态分值结果C;然后与中文语言预训练模型输出的疲劳状态分值结果A通过加权融合得到加权疲劳数据结果。本发明实现了疲劳评测视频、音频、文字三个维度的综合疲劳检测并加权融合,评测结果可靠。
公开/授权文献
- CN116844080A 疲劳程度多模态融合检测方法、电子设备及存储介质 公开/授权日:2023-10-03