公开(公告)号：CN113326780A

公开(公告)日：2021-08-31

申请号：CN202110604875.2

申请日：2021-05-31

申请人： 合肥工业大学

发明人： 戎千 ,  丁帅 ,  李霄剑 ,  欧阳波 ,  宋程 ,  岳子杰

IPC分类号： G06K9/00 ,  G06K9/62

摘要： 本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，涉及负性心境检测技术领域。本发明实施例根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。

公开(公告)号：CN113326780B

公开(公告)日：2022-08-19

申请号：CN202110604875.2

申请日：2021-05-31

申请人： 合肥工业大学

发明人： 戎千 ,  丁帅 ,  李霄剑 ,  欧阳波 ,  宋程 ,  岳子杰

IPC分类号： G06V40/16 ,  G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80

摘要： 本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，涉及负性心境检测技术领域。本发明实施例根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。

公开(公告)号：CN113705328A

公开(公告)日：2021-11-26

申请号：CN202110764279.0

申请日：2021-07-06

申请人： 合肥工业大学

发明人： 丁帅 ,  余文颖 ,  岳子杰 ,  戎千 ,  李霄剑 ,  宋程

IPC分类号： G06K9/00 ,  G06K9/62 ,  G16H50/20

摘要： 本发明提供了一种基于面部特征点与面部运动单元的抑郁检测方法和系统，涉及抑郁状态检测技术领域。基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。实现了基于诊疗过程中采集到的监测数据进行抑郁状态检测。