面向链接预测的交互式多模态融合方法及装置
摘要:
本发明提供一种面向链接预测的交互式多模态融合方法及装置,方法通过获取待预测知识图谱,包括结构化模态、可视化模态和文本模态;分别提取结构化模态、可视化模态和文本模态的高层次特征信息,得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示;对结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示进行聚合,通过双线性矩阵计算得到多模态嵌入表示;分别通过各个不同的表示预测目标实体,得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果;调整各个预测结果的权重,得到目标预测结果,通过多模态融合能够有效地保留各模态中的专有知识实现互补性链接预测,极大地提高链接预测的准确度。
0/0