非接触式与接触式协同的心理生理状态智能监测系统

    公开(公告)号:CN110598608B

    公开(公告)日:2022-01-14

    申请号:CN201910823548.9

    申请日:2019-09-02

    摘要: 本申请提供一种非接触式与接触式协同的心理生理状态智能监测系统,该系统中,非接触式数据采集模块采集面部可见光视频、音频数据及红外热图视频,接触式数据采集模块采集生理信号数据;针对各通道监测数据,可见光信息感知模块用于对可见光视频进行图像降维及特征提取,音频信息感知模块用于提取音频的时频特征,红外信息感知模块用于提取温度变化特征,生理信息感知模块用于提取生理特征,多模融合模块以各通道模型精度为权重将各通道的多模、跨域特征信息进行语义关联及特征融合,综合分析模利用Voting集成学习方法分析得到监测目标个体的心理生理状态分布本系统相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。

    用于情绪状态监测的面部运动单元双流特征提取方法

    公开(公告)号:CN110751016A

    公开(公告)日:2020-02-04

    申请号:CN201910823132.7

    申请日:2019-09-02

    摘要: 本申请提供一种用于情绪状态监测的面部运动单元双流特征提取方法,其中,利用第一卷积神经网络和循环神经网络,确定每种预设面部子区域图像对应的第一图像时空特征信息,利用第二卷积神经网络对每种预设面部子区域对应的光流图进行降维和时空特征提取,确定每种预设面部子区域对应的第二时空特征信息,基于每种预设面部子区域对应的第一图像时空特征信息和所有第二图像时空特征信息,确定监测个体的情绪状态分布。本申请同步提取面部视频帧序列的光流和特征图流,充分考虑到图像中面部区域的空间特征及在相邻帧间运动的时间特征,解决了传统算法提取的语义特征重复的缺陷,简化了计算步骤从而降低计算时间复杂度,提高了计算的效率和准确度。

    可见光面部图像的多路信息融合及人工智能情绪监测方法

    公开(公告)号:CN110765839A

    公开(公告)日:2020-02-07

    申请号:CN201910823603.4

    申请日:2019-09-02

    IPC分类号: G06K9/00 G06N3/04 G06N3/08

    摘要: 本申请提供一种可见光面部图像的多路信息融合及人工智能情绪监测方法,其中,本方法基于面部图像中预设特征点集群确定第一概率特征向量,同时利用卷积神经网络确定图像级的第二概率特征向量,进而结合图像序列间的时间信息生成情绪特征矩阵,此外,基于预设面部子区域图像以及相邻帧间光流图确定第三概率特征向量,对上述三个概率特征向量进行特征融合从而获取融合特征向量,最终基于上述三个概率特征向量、情绪特征矩阵和融合特征向量,确定监测个体的情绪状态分布。本申请利用上述三条分析通路处理面部视频,挖掘面部图像的空间及帧间时间特征,针对不同维度的特征进行全面分析及有效融合,保证高效分析的同时提高了情绪状态监测的精确度。

    可见光面部图像的多路信息融合及人工智能情绪监测方法

    公开(公告)号:CN110765839B

    公开(公告)日:2022-02-22

    申请号:CN201910823603.4

    申请日:2019-09-02

    摘要: 本申请提供一种可见光面部图像的多路信息融合及人工智能情绪监测方法,其中,本方法基于面部图像中预设特征点集群确定第一概率特征向量,同时利用卷积神经网络确定图像级的第二概率特征向量,进而结合图像序列间的时间信息生成情绪特征矩阵,此外,基于预设面部子区域图像以及相邻帧间光流图确定第三概率特征向量,对上述三个概率特征向量进行特征融合从而获取融合特征向量,最终基于上述三个概率特征向量、情绪特征矩阵和融合特征向量,确定监测个体的情绪状态分布。本申请利用上述三条分析通路处理面部视频,挖掘面部图像的空间及帧间时间特征,针对不同维度的特征进行全面分析及有效融合,保证高效分析的同时提高了情绪状态监测的精确度。

    非接触式与接触式协同的心理生理状态智能监测系统

    公开(公告)号:CN110598608A

    公开(公告)日:2019-12-20

    申请号:CN201910823548.9

    申请日:2019-09-02

    摘要: 本申请提供一种非接触式与接触式协同的心理生理状态智能监测系统,该系统中,非接触式数据采集模块采集面部可见光视频、音频数据及红外热图视频,接触式数据采集模块采集生理信号数据;针对各通道监测数据,可见光信息感知模块用于对可见光视频进行图像降维及特征提取,音频信息感知模块用于提取音频的时频特征,红外信息感知模块用于提取温度变化特征,生理信息感知模块用于提取生理特征,多模融合模块以各通道模型精度为权重将各通道的多模、跨域特征信息进行语义关联及特征融合,综合分析模利用Voting集成学习方法分析得到监测目标个体的心理生理状态分布本系统相较现有的技术可以更加准确、全面、高效地监测人体心理生理状态。

    基于数据可靠性评价的非接触式负性心境检测方法和装置

    公开(公告)号:CN113326780A

    公开(公告)日:2021-08-31

    申请号:CN202110604875.2

    申请日:2021-05-31

    IPC分类号: G06K9/00 G06K9/62

    摘要: 本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置,涉及负性心境检测技术领域。本发明实施例根据可见光图像和热红外图像数据的质量评价方法,设计了多模态数据可靠性评估机制,计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性,同时还构建了多模态数据融合网络提取双模态数据特征,并在特征融合层基于数据可靠性进行双模态数据特征融合,用于端到端的检测负性心境状态。相比于传统的特征拼接方式,基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性,增强模型的鲁棒性。

    多样性增强的智能导诊方法及系统

    公开(公告)号:CN108305675A

    公开(公告)日:2018-07-20

    申请号:CN201810077938.1

    申请日:2018-01-26

    IPC分类号: G16H40/20

    摘要: 本发明提供一种多样性增强的智能导诊方法及系统,涉及医疗领域。本发明实施例根据每个医生的评价、每个医生所属的医院的排名,以及每个医生所属的医院与患者当前位置的距离,确定每个医生的能力权重、第一医院权重以及车程权重,并据此建立智能导诊模型,最后利用智能导诊模型确定每个医生的推荐指数,并选取最大的所述推荐指数对应的医生作为推荐医生。上述技术方案解决了医院资源分配不均的问题,同时在推荐医生时结合了患者与医院的车程以及医院的排名等因素,能够为患者提供最优的看诊医生建议。

    非接触式多生理参数的同步检测方法和系统

    公开(公告)号:CN114694211A

    公开(公告)日:2022-07-01

    申请号:CN202210176718.0

    申请日:2022-02-24

    摘要: 本发明提供一种非接触式多生理参数的同步检测方法、系统、存储介质和电子设备,涉及生理参数检测技术领域。本发明中,将第一时空特征图、第二时空特征图分别输入共享网络的两个结构相同但参数不共享的神经网络中,分别获取不同层次的特征提取图,将相同层次的特征提取图输入共享网络对应的特征融合块,获取当前层次的融合特征,并分别输入各个子任务网络对应的注意力模块中,结合上一层注意力模块的输出,获取当前层注意力模块输出的任务相关特征;考虑到不同模态、不同空间位置以及不同通道的重要性,可以有效的从大量级联特征中提取出可靠且对任务有显著效果的特征,提高算法性能表现。

    非接触式血压监测系统、可读存储介质和电子设备

    公开(公告)号:CN114652287A

    公开(公告)日:2022-06-24

    申请号:CN202210105364.0

    申请日:2022-01-26

    摘要: 本发明提供了一种非接触式血压监测系统、可读存储介质和电子设备,涉及非接触式血压监测技术领域。本发明对采集的数据进行空间滤波和时域滤波,有效提取隐藏在面部和手掌视频中的色彩信息,构建了每一列代表一个固定区域的像素值随时间的变化,每一行代表一个不同时间的完整RIS序列的特征表示块,并配合本发明设计的注意力机制,实现PPG信号增强;同时令网络关注通道之间的关系、时序信息和空间重要度分布,使网络更有效地学习到血压相关特征,克服已有研究的不足,相比于其他深度学习模型更精确。