面部红外热图的灌注优化及人工智能情绪监测方法

    公开(公告)号:CN110751015A

    公开(公告)日:2020-02-04

    申请号:CN201910823131.2

    申请日:2019-09-02

    摘要: 本申请提供一种面部红外热图的灌注优化及人工智能情绪监测方法,其中,基于监测目标个体面部红外视频,利用CNN-BiGRU_Attention网络模型对每帧面部红外图像对应的血液灌注伪彩色图进行处理,进而挖掘蕴含在帧内空间特征向量矩阵;此外,利用BiGRU层确定面部红外视频帧间时间特征向量矩阵;最后基于每帧面部红外图像对应的空间特征向量矩阵和相邻帧间时间特征向量矩阵,确定监测目标个体针对每种预设情绪状态的概率特征信息。上述技术方案将CNN与BiGRU结合,BiGRU模块引入Attention机制,充分提取图像的空间特征和帧间时间特征,进而联合识别监测目标个体对于每种预设情绪状态的概率特征信息,可以在非干扰的测试环境中获取更加真实的情绪分布,有效提高了情绪识别的效率及准确度。

    非接触式与接触式协同的心理生理状态智能监测系统

    公开(公告)号:CN110598608B

    公开(公告)日:2022-01-14

    申请号:CN201910823548.9

    申请日:2019-09-02

    摘要: 本申请提供一种非接触式与接触式协同的心理生理状态智能监测系统,该系统中,非接触式数据采集模块采集面部可见光视频、音频数据及红外热图视频,接触式数据采集模块采集生理信号数据;针对各通道监测数据,可见光信息感知模块用于对可见光视频进行图像降维及特征提取,音频信息感知模块用于提取音频的时频特征,红外信息感知模块用于提取温度变化特征,生理信息感知模块用于提取生理特征,多模融合模块以各通道模型精度为权重将各通道的多模、跨域特征信息进行语义关联及特征融合,综合分析模利用Voting集成学习方法分析得到监测目标个体的心理生理状态分布本系统相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。

    非接触式与接触式协同的心理生理状态智能监测系统

    公开(公告)号:CN110598608A

    公开(公告)日:2019-12-20

    申请号:CN201910823548.9

    申请日:2019-09-02

    摘要: 本申请提供一种非接触式与接触式协同的心理生理状态智能监测系统,该系统中,非接触式数据采集模块采集面部可见光视频、音频数据及红外热图视频,接触式数据采集模块采集生理信号数据;针对各通道监测数据,可见光信息感知模块用于对可见光视频进行图像降维及特征提取,音频信息感知模块用于提取音频的时频特征,红外信息感知模块用于提取温度变化特征,生理信息感知模块用于提取生理特征,多模融合模块以各通道模型精度为权重将各通道的多模、跨域特征信息进行语义关联及特征融合,综合分析模利用Voting集成学习方法分析得到监测目标个体的心理生理状态分布本系统相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。

    面部红外热图的灌注优化及人工智能情绪监测方法

    公开(公告)号:CN110751015B

    公开(公告)日:2023-04-11

    申请号:CN201910823131.2

    申请日:2019-09-02

    摘要: 本申请提供一种面部红外热图的灌注优化及人工智能情绪监测方法,其中,基于监测目标个体面部红外视频,利用CNN‑BiGRU_Attention网络模型对每帧面部红外图像对应的血液灌注伪彩色图进行处理,进而挖掘蕴含在帧内空间特征向量矩阵;此外,利用BiGRU层确定面部红外视频帧间时间特征向量矩阵;最后基于每帧面部红外图像对应的空间特征向量矩阵和相邻帧间时间特征向量矩阵,确定监测目标个体针对每种预设情绪状态的概率特征信息。上述技术方案将CNN与BiGRU结合,BiGRU模块引入Attention机制,充分提取图像的空间特征和帧间时间特征,进而联合识别监测目标个体对于每种预设情绪状态的概率特征信息,可以在非干扰的测试环境中获取更加真实的情绪分布,有效提高了情绪识别的效率及准确度。

    多通道协同的心理生理主动感知方法及服务机器人

    公开(公告)号:CN110693508A

    公开(公告)日:2020-01-17

    申请号:CN201910823119.1

    申请日:2019-09-02

    摘要: 本申请提供一种多通道协同的心理生理主动感知方法及服务机器人,此机器人通过右眼可见光摄像头采集部件获取监测目标个体的可见光视频,通过左眼红外仪采集部件拍摄监测目标个体的红外热图视频,通过左侧接触式指夹仪器获取监测目标个体的皮电、脉搏、血氧等生理数据;机器人的口袋分析操作台用于分析挖掘上述多通道数据对应的深层特征信息及相关权重,用于确定监测目标个体的心理生理特征值。此机器人具有红外智能捕获对象功能、远程服务功能,可按照用户要求分析得到监测目标个体的心理生理特征值。上述多通道协同的心理生理主动感知服务机器人便于实时操作,采用人机交互的方式提高了心理状态监测效率,自动化、智能化程度大大提高。