一种基于混合融合的跨模态图文情感分析方法
摘要:
本发明公开了一种基于混合融合的跨模态图文情感分析方法,属于自然语言处理与计算机视觉技术领域,包括以下步骤:单模态的提取;跨模态特征融合;注意力机制及组合池化处理;局部到整体转化;决策融合与映射。本发明提出跨模态注意力机制的图文情感分析模型,先将两种模态的数据输入到全连接层中,将其映射到一个公共空间,使得模型减少冗余信息的影响之后,再通过模态交互获取具有图文相关联系程度的跨模态情感特征;通过注意力机制增强关键的情感特征,加强了特征融合的有效性;提出联合特征融合和决策融合的混合融合模型,捕捉不同模态的相关性,更加全面综合的利用信息,提高决策的准确率。
0/0