一种基于特征融合的多模态讽刺检测方法及系统
Abstract:
本发明公开了一种基于特征融合的多模态讽刺检测方法及系统,该方法包括以下步骤:获取待检测文本中的外部知识即形容词‑名词对,后特征表示为A,分别将待检测文本对应的文本模态和图像模态分别特征表示为T和I;采用多头交叉注意机制表示每对多模态输入的文本‑图像的浅层一致性分数以及文本‑外部知识的浅层一致性分数;利用图注意力网络计算文本‑图像的深层一致性分数sl和文本‑外部知识的深层一致性分数#imgabs0#使用激活函数和线性层整合得到预测结果y。本发明结合文本、图像和形容词‑名词对三个模态,建立了知识强化型的多模态讽刺检测模型,在与文本、图像两种模态良好结合的基础上,提供更多元、有效的信息,并获得了更好的性能。
Public/Granted literature
Patent Agency Ranking
0/0