发明公开
- 专利标题: 一种多模态事件检测方法及装置
-
申请号: CN202210085708.6申请日: 2022-01-25
-
公开(公告)号: CN114444593A公开(公告)日: 2022-05-06
- 发明人: 李阳阳 , 金昊 , 刘弋锋 , 林晖 , 黎宏河 , 胡校成 , 高阳阳
- 申请人: 中国电子科技集团公司电子科学研究院
- 申请人地址: 北京市石景山区双园路11号
- 专利权人: 中国电子科技集团公司电子科学研究院
- 当前专利权人: 中国电子科技集团公司电子科学研究院
- 当前专利权人地址: 北京市石景山区双园路11号
- 主分类号: G06K9/62
- IPC分类号: G06K9/62 ; G06F16/906 ; G06F40/30 ; G06N3/04 ; G06Q50/00
摘要:
本发明公开了一种多模态事件检测方法及装置,包括:基于社交平台的发布事件,提取所述发布事件的关联信息,其中所述关联信息包括文本数据和图像数据;提取所述文本数据的文本特征以及提取所述图像数据的视觉特征;初始化所述视觉特征和所述文本特征之间的相关性分数;基于所述初始化后的相关性分数,过滤掉所述图像数据中部分无关的图像区域,以确定所述图像数据中的相关目标区域;融合所述文本特征和所述图像数据中的相关区域的视觉特征,以获得多模态特征;基于所述多模态特征通过预设分类器进行分类,以实现事件检测。本发明实施例提出一种更符合真实场景使用的事件检测方法,实现单文本与多张图片的场景下进行事件检测。