发明公开
- 专利标题: 基于多粒度的特征对比和融合框架的多模态情感分析方法
-
申请号: CN202410127215.3申请日: 2024-01-30
-
公开(公告)号: CN117893948A公开(公告)日: 2024-04-16
- 发明人: 林煜明 , 冯新宇 , 张英豪 , 曾旭鹏 , 李优
- 申请人: 桂林电子科技大学
- 申请人地址: 广西壮族自治区桂林市七星区金鸡路1号
- 专利权人: 桂林电子科技大学
- 当前专利权人: 桂林电子科技大学
- 当前专利权人地址: 广西壮族自治区桂林市七星区金鸡路1号
- 代理机构: 北京盛询知识产权代理有限公司
- 代理商 任宇
- 主分类号: G06V20/40
- IPC分类号: G06V20/40 ; G06V40/70 ; G06V10/40 ; G06V10/764 ; G06V10/774 ; G06V10/80 ; G06V10/82 ; G06F18/213 ; G10L15/02
摘要:
本发明公开了基于多粒度的特征对比和融合框架的多模态情感分析方法,包括:提取原始视频的低纬度多模态特征数据;将所述低纬度多模态特征数据,输入单模态特征提取模块,进行特征提取,获取单模态独立特征数据;将所述单模态独立特征数据,输入多模态融合模块,进行数据融合,获取跨模态融合数据;将所述跨模态融合数据,输入对比学习模块,使用MSA回归主任务和对比学习子任务对分类输出模块进行训练;基于训练后的所述分类输出模块,获取多模态情感预测结果。本发明不仅可以有效捕获跨模态不变特征来识别情感分类,还可以利用模态特定特征预测情感强度。