-
公开(公告)号：CN116415137B
公开(公告)日：2023-10-10
申请号：CN202310674488.5
申请日：2023-06-08
申请人： 讯飞医疗科技股份有限公司 , 首都医科大学附属北京安定医院
IPC分类号： G06F18/213 , G06F18/25 , G06F18/23 , G16H50/30 , G06N3/0464 , G06N3/08
摘要： 本申请公开了一种基于多模态特征的情绪定量方法、装置、设备及存储介质，本申请获取到待测对象在设定谈话场景下的音频、视频数据、识别文本，该三种模态的数据全面覆盖待测对象的整体状态，所提供的信息更加丰富，为准确分析得到情绪参考数据提供了很好的数据基础。分别提取三种模态的数据的特征，得到文本特征、音频局部特征和视频局部特征，采用可学习的聚类模块分别对音频局部特征和视频局部特征进行维度压缩和聚类，获取更有价值的高维的音频全局特征和视频全局特征，将文本特征、音频全局特征和视频全局特征进行融合，并基于融合特征确定待测对象的情绪参考数据，实现了对待测对象的自动化检测，大大提升了检测效率。
-
公开(公告)号：CN116415137A
公开(公告)日：2023-07-11
申请号：CN202310674488.5
申请日：2023-06-08
申请人： 讯飞医疗科技股份有限公司 , 首都医科大学附属北京安定医院
IPC分类号： G06F18/213 , G06F18/25 , G06F18/23 , G16H50/30 , G06N3/0464 , G06N3/08
摘要： 本申请公开了一种基于多模态特征的情绪定量方法、装置、设备及存储介质，本申请获取到待测对象在设定谈话场景下的音频、视频数据、识别文本，该三种模态的数据全面覆盖待测对象的整体状态，所提供的信息更加丰富，为准确分析得到情绪参考数据提供了很好的数据基础。分别提取三种模态的数据的特征，得到文本特征、音频局部特征和视频局部特征，采用可学习的聚类模块分别对音频局部特征和视频局部特征进行维度压缩和聚类，获取更有价值的高维的音频全局特征和视频全局特征，将文本特征、音频全局特征和视频全局特征进行融合，并基于融合特征确定待测对象的情绪参考数据，实现了对待测对象的自动化检测，大大提升了检测效率。
-
公开(公告)号：CN117828355A
公开(公告)日：2024-04-05
申请号：CN202410148630.7
申请日：2024-02-01
申请人： 讯飞医疗科技股份有限公司
IPC分类号： G06F18/214 , G06F18/213 , G06F18/25 , G06F18/2431 , G06F40/35 , G06F40/279 , G06F40/205 , G06F16/35 , G06V10/774 , G06V10/80 , G06V10/764
摘要： 本发明涉及情绪判定技术领域，提供一种基于多模态信息的情绪定量模型训练方法及情绪定量方法，该训练方法中引入多模态特征对齐模块，可以将多模态感知能力接入大型语言模型，进而可以通过多模态信息对情绪进行定量分析。通过该训练方法得到的多模态情绪定量模型，模型参数量更多，所承载的知识量更多，具有更强的语言能力，可以充分利用多模态信息表征用户的整体状态，避免信息缺失，得到的分析结果更加准确，能够适配精神心理科场景。此外，通过构建监督微调数据集，将多模态指令遵循能力接入大型语言模型，能够理解受试者的语音特征和视频特征等多模态特征，可以提高多模态情绪定量模型对情绪进行多模态定量的性能。
-
公开(公告)号：CN116910270A
公开(公告)日：2023-10-20
申请号：CN202310915860.7
申请日：2023-07-24
申请人： 讯飞医疗科技股份有限公司
IPC分类号： G06F16/36 , G06F16/335 , G06N5/022
摘要： 本申请公开了一种多模态心理知识图谱构建方法、装置、设备及存储介质，本申请在获取到纯文本心理知识图谱后，以图谱中的实体节点所包含的文本作为检索词，检索与实体节点相关的其它模态知识信息，如语音模态、视觉模态的知识信息，计算实体节点所包含的文本，与检索到的实体节点相关的每条其它模态知识信息间的相关度，筛选出相关度满足条件的目标其它模态知识信息，将目标其它模态知识信息作为实体节点的关联信息添加到纯文本心理知识图谱中，构建多模态心理知识图谱。本申请构建的多模态心理知识图谱包含了多模态的心理学知识信息，其内容更加丰富，可以更好地满足下游应用的需求。
-
-
-
搜索结果
4 条记录 (耗时 0.047 秒)
