具有跨媒体信息融合功能的非接触式情绪监测方法

    公开(公告)号:CN110755092A

    公开(公告)日:2020-02-07

    申请号:CN201910823150.5

    申请日:2019-09-02

    IPC分类号: A61B5/16 G06K9/62 G06K9/00

    摘要: 本申请提供一种具有跨媒体信息融合功能的非接触式情绪监测方法,其中,本方法基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据,分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵,之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取,从而得到共享模态矩阵和私有模态矩阵,最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型,将多种类型的监测数据进行跨媒体融合,并且能够充分利用有效数据分析情绪状态,在有效提高情绪状态监测准确度的同时增进分析效率。

    用于情绪状态监测的面部运动单元双流特征提取方法

    公开(公告)号:CN110751016A

    公开(公告)日:2020-02-04

    申请号:CN201910823132.7

    申请日:2019-09-02

    摘要: 本申请提供一种用于情绪状态监测的面部运动单元双流特征提取方法,其中,利用第一卷积神经网络和循环神经网络,确定每种预设面部子区域图像对应的第一图像时空特征信息,利用第二卷积神经网络对每种预设面部子区域对应的光流图进行降维和时空特征提取,确定每种预设面部子区域对应的第二时空特征信息,基于每种预设面部子区域对应的第一图像时空特征信息和所有第二图像时空特征信息,确定监测个体的情绪状态分布。本申请同步提取面部视频帧序列的光流和特征图流,充分考虑到图像中面部区域的空间特征及在相邻帧间运动的时间特征,解决了传统算法提取的语义特征重复的缺陷,简化了计算步骤从而降低计算时间复杂度,提高了计算的效率和准确度。

    具有跨媒体信息融合功能的非接触式情绪监测方法

    公开(公告)号:CN110755092B

    公开(公告)日:2022-04-12

    申请号:CN201910823150.5

    申请日:2019-09-02

    摘要: 本申请提供一种具有跨媒体信息融合功能的非接触式情绪监测方法,其中,本方法基于包括监测目标个体面部可见光视频、面部红外热图视频、音频数据在内的非接触式数据,分别确定第一情绪特征向量矩阵、第二情绪特征向量矩阵和第三情绪特征向量矩阵,之后利用可调节的多模态特征融合机制对上述三个情绪特征向量矩阵进行降维和特征提取,从而得到共享模态矩阵和私有模态矩阵,最后基于得到的模态矩阵确定监测目标个体对于每种预设情绪状态的概率分布。上述方案不仅全面增加了用于分析情绪状态的监测数据类型,将多种类型的监测数据进行跨媒体融合,并且能够充分利用有效数据分析情绪状态,在有效提高情绪状态监测准确度的同时增进分析效率。