公开(公告)号：CN115965810A

公开(公告)日：2023-04-14

申请号：CN202211555818.0

申请日：2022-12-06

申请人： 厦门大学

发明人： 林扬豪 ,  曹冬林 ,  游锦鹏 ,  林达真

IPC分类号： G06V10/764 ,  G06V10/80 ,  G06V20/40 ,  G06V10/774 ,  G06V10/82 ,  G06F16/35 ,  G06Q50/00 ,  G10L15/02 ,  G10L15/08

摘要： 一种基于多模态一致性的短视频谣言检测方法，属于自然语言处理领域。针对谣言视频中存在对于主题的曲解和关键帧的篡改的问题，设计一种基于主题和关键帧的短视频谣言分类模型TKCM；TKCM使用聚合网络获取视频的主题特征、使用注意力网络获取视频的关键帧特征，将两者信息输入模态调节机制调整网络对三种模态的重要性关注度，拼接特征进行短视频谣言检测。针对谣言视频存在不一致问题，提出学习不一致信息的方法，将融入主题、关键帧和不一致性信息的方法ICIM一起用来谣言检测。实验结果表明，在短视频谣言数据集上的F1值比常用的视频分类模型有4％～7％的提升。与融入一致性信息之前的模型相比，在F1值上有2.3％的提升。