Invention Grant
- Patent Title: 一种基于特征融合的多模态讽刺检测方法及系统
-
Application No.: CN202311305211.1Application Date: 2023-10-10
-
Publication No.: CN117371456BPublication Date: 2024-07-16
- Inventor: 代克丽 , 卢尧 , 任福临 , 钱凌寒 , 杨鸣 , 马骏 , 顾彬仕 , 徐华泽 , 陈赛赛 , 欧朱建 , 沈彬彬
- Applicant: 国网江苏省电力有限公司南通供电分公司
- Applicant Address: 江苏省南通市崇川区青年中路52号
- Assignee: 国网江苏省电力有限公司南通供电分公司
- Current Assignee: 国网江苏省电力有限公司南通供电分公司
- Current Assignee Address: 江苏省南通市崇川区青年中路52号
- Agency: 镇江至睿专利代理事务所
- Agent 王恒静
- Main IPC: G06F40/35
- IPC: G06F40/35 ; G06F18/25 ; G06F18/213 ; G06N3/0499 ; G06N3/0455 ; G06V30/19 ; G06V30/18

Abstract:
本发明公开了一种基于特征融合的多模态讽刺检测方法及系统,该方法包括以下步骤:获取待检测文本中的外部知识即形容词‑名词对,后特征表示为A,分别将待检测文本对应的文本模态和图像模态分别特征表示为T和I;采用多头交叉注意机制表示每对多模态输入的文本‑图像的浅层一致性分数以及文本‑外部知识的浅层一致性分数;利用图注意力网络计算文本‑图像的深层一致性分数sl和文本‑外部知识的深层一致性分数#imgabs0#使用激活函数和线性层整合得到预测结果y。本发明结合文本、图像和形容词‑名词对三个模态,建立了知识强化型的多模态讽刺检测模型,在与文本、图像两种模态良好结合的基础上,提供更多元、有效的信息,并获得了更好的性能。
Public/Granted literature
- CN117371456A 一种基于特征融合的多模态讽刺检测方法及系统 Public/Granted day:2024-01-09
Information query