发明公开
- 专利标题: 一种基于混合融合的跨模态图文情感分析方法
-
申请号: CN202311693001.4申请日: 2023-12-05
-
公开(公告)号: CN117671460A公开(公告)日: 2024-03-08
- 发明人: 袁志祥 , 杜姝敏
- 申请人: 安徽工业大学
- 申请人地址: 安徽省马鞍山市经济技术开发区南区嘉善科技园2号楼
- 专利权人: 安徽工业大学
- 当前专利权人: 安徽工业大学
- 当前专利权人地址: 安徽省马鞍山市经济技术开发区南区嘉善科技园2号楼
- 代理机构: 合肥昊晟德专利代理事务所
- 代理商 何梓秋
- 主分类号: G06V10/86
- IPC分类号: G06V10/86 ; G06V10/764 ; G06V10/80 ; G06V10/77 ; G06V10/771 ; G06V10/82 ; G06F18/213 ; G06F18/241 ; G06F18/25 ; G06F18/2113 ; G06N3/045 ; G06N3/048 ; G06N3/08
摘要:
本发明公开了一种基于混合融合的跨模态图文情感分析方法,属于自然语言处理与计算机视觉技术领域,包括以下步骤:单模态的提取;跨模态特征融合;注意力机制及组合池化处理;局部到整体转化;决策融合与映射。本发明提出跨模态注意力机制的图文情感分析模型,先将两种模态的数据输入到全连接层中,将其映射到一个公共空间,使得模型减少冗余信息的影响之后,再通过模态交互获取具有图文相关联系程度的跨模态情感特征;通过注意力机制增强关键的情感特征,加强了特征融合的有效性;提出联合特征融合和决策融合的混合融合模型,捕捉不同模态的相关性,更加全面综合的利用信息,提高决策的准确率。