发明公开
- 专利标题: 多模态情感识别方法、装置及计算机可读存储介质
-
申请号: CN202211008202.1申请日: 2022-08-22
-
公开(公告)号: CN115374854A公开(公告)日: 2022-11-22
- 发明人: 孙炜 , 刘一平 , 覃业宝 , 张法龙
- 申请人: 湖南大学深圳研究院
- 申请人地址: 广东省深圳市南山区粤海街道高新技术产业园南区虚拟大学园A214
- 专利权人: 湖南大学深圳研究院
- 当前专利权人: 湖南大学深圳研究院
- 当前专利权人地址: 广东省深圳市南山区粤海街道高新技术产业园南区虚拟大学园A214
- 代理机构: 湖南岑信知识产权代理事务所
- 代理商 周杰
- 主分类号: G06K9/62
- IPC分类号: G06K9/62 ; G06N3/04 ; G06N3/08
摘要:
本发明提供一种多模态情感识别方法,首先针对样本的单模态数据,将输入特征在固定维度的特征空间中进行投影分割,得到两个维度相等的子特征序列,然后分别对两个子特征提取时间特征和空间特征,最后利用线性调制的方法自适应融合时间特征和空间特征,得到该模态数据对应的时空特征。该方法减小了不同模态之间的异构性,弭平不同模态特征之间的模态鸿沟,使得后续多模态融合更加高效。通过将多模态下的情感特征预测值加权平均,即可得到多模态下的情感识别结果,无需设计复杂的多模态融合网络层,从本质上提升模型的泛化能力。本发明还提供一种多模态情感识别装置及一种计算机可读存储介质。