- 专利标题： 一种基于注意力机制的多模态情感分析方法及系统
-
申请号： CN202310423904.4申请日： 2023-04-19
-
公开(公告)号： CN116563751B公开(公告)日： 2024-02-06
- 发明人: 吴珺 , 郑欣丽 , 袁子健 , 王江鹏 , 吴俊伟 , 聂万宇
- 申请人： 湖北工业大学
- 申请人地址： 湖北省武汉市洪山区南李路28号
- 专利权人： 湖北工业大学
- 当前专利权人： 湖北工业大学
- 当前专利权人地址： 湖北省武汉市洪山区南李路28号
- 代理机构： 武汉科皓知识产权代理事务所
- 代理商 肖艳
- 主分类号： G06V20/40
- IPC分类号： G06V20/40 ; G06V40/70 ; G06V10/40 ; G06V10/774 ; G06V10/764 ; G06V10/82 ; G06V10/80 ; G06N3/0442 ; G06N3/08 ; G06F18/10 ; G06F18/214 ; G06F18/24 ; G06F18/25
摘要：
本发明提供一种基于注意力机制的多模态情感分析方法及系统，属于深度学习技术领域，包括：对多模态情感分析数据集合进行预处理，得到多模态数据向量；将多模态数据向量输入基于注意力机制的双层双向GRU网络中进行特征提取，得到多模态特征向量；将多模态特征向量输入至低秩张量融合模型中进行特征融合，获得融合后多模态特征；确定融合后多模态特征的情感极性，输出情感分析结果。本发明采用双层双向GRU模型能有效学习视频数据中的文本和音频的时序特征，具有结构简单、学习速度快以及连接(56)对比文件US 2018165554 A1,2018.06.14US 2020302340 A1,2020.09.24US 2021109956 A1,2021.04.15Zhun Liu等.Efficient Low-rankMultimodal Fusion with Modality-SpecificFactors《.arXiv:1806.00064v1》.2018,1-10页.Ruo-Hong Huan等.Video multimodalemotion recognition based on Bi-GRU andattention fusion《.Multimedia Tools andApplications》.2020,8213–8240页.尹春勇等.基于多任务学习的时序多模态情感分析模型《.计算机应用》.2021,1631 - 1639.
公开/授权文献
- CN116563751A 一种基于注意力机制的多模态情感分析方法及系统 公开/授权日：2023-08-08
