基于多模态上下文分层分步对齐的虚假信息检测方法

    公开(公告)号:CN117521012A

    公开(公告)日:2024-02-06

    申请号:CN202311569509.3

    申请日:2023-11-23

    摘要: 本发明公开一种基于多模态上下文分层分步对齐的虚假信息检测方法和系统,获取社交媒体博文中的图像和文本;建立具有双向交叉模态注意的局部对齐模块,推断片段级别的匹配关系;建立全局上下文融合实体特征提取模块,利用多头自注意力机制帮助局部对象学习更多上下文语义,增强图像和文本特征的上下文表示;设计自适应权重过滤模块以进行图像‑文本实体特征对齐,根据两个模态增强特征的相似性,整合所有加权特征实现全局匹配,抑制整体语义偏差;将这两个不同级别融合实体特征的整体相似度输入二值分类器中,得出虚假信息检测的结果。本发明通过整合上下文信息,可保留文本和图像完整的语义信息,提高虚假信息检测的准确率。

    基于多模态实体融合与对齐的社交媒体虚假信息检测方法

    公开(公告)号:CN116452939A

    公开(公告)日:2023-07-18

    申请号:CN202310527271.1

    申请日:2023-05-11

    申请人: 河海大学

    摘要: 本发明公开一种基于多模态实体融合与对齐的社交媒体多模态虚假信息检测方法,包括:1)获取社交媒体博文中的文本和图像;2)文本‑图像实体特征提取;3)文本‑图像融合实体特征提取,将文本实体特征和视觉实体特征进行多模态特征融合,提取每个文本实体特征和每个视觉实体特征融合后的融合实体特征;4)文本‑图像实体特征对齐,将文本实体特征和融合实体特征进行多模态特征对齐,计算它们之间的整体相似度;5)社交媒体博文检测,将文本实体特征与融合实体特征之间的整体相似度使用二值分类器确定社交媒体博文检测的结果。本发明能够检测到更细粒度的信息,又能够结合文本信息,能够保留完整语义信息,提高虚假信息检测的准确率。