一种多模态事件检测方法及装置
摘要:
本发明公开了一种多模态事件检测方法及装置,包括:基于社交平台的发布事件,提取所述发布事件的关联信息,其中所述关联信息包括文本数据和图像数据;提取所述文本数据的文本特征以及提取所述图像数据的视觉特征;初始化所述视觉特征和所述文本特征之间的相关性分数;基于所述初始化后的相关性分数,过滤掉所述图像数据中部分无关的图像区域,以确定所述图像数据中的相关目标区域;融合所述文本特征和所述图像数据中的相关区域的视觉特征,以获得多模态特征;基于所述多模态特征通过预设分类器进行分类,以实现事件检测。本发明实施例提出一种更符合真实场景使用的事件检测方法,实现单文本与多张图片的场景下进行事件检测。
0/0