基于多粒度的特征对比和融合框架的多模态情感分析方法
摘要:
本发明公开了基于多粒度的特征对比和融合框架的多模态情感分析方法,包括:提取原始视频的低纬度多模态特征数据;将所述低纬度多模态特征数据,输入单模态特征提取模块,进行特征提取,获取单模态独立特征数据;将所述单模态独立特征数据,输入多模态融合模块,进行数据融合,获取跨模态融合数据;将所述跨模态融合数据,输入对比学习模块,使用MSA回归主任务和对比学习子任务对分类输出模块进行训练;基于训练后的所述分类输出模块,获取多模态情感预测结果。本发明不仅可以有效捕获跨模态不变特征来识别情感分类,还可以利用模态特定特征预测情感强度。
0/0