发明公开
- 专利标题: 面向链接预测的交互式多模态融合方法及装置
-
申请号: CN202111553153.5申请日: 2021-12-17
-
公开(公告)号: CN114297402A公开(公告)日: 2022-04-08
- 发明人: 张勇 , 李昕航 , 李超 , 王霞 , 盛明
- 申请人: 清华大学
- 申请人地址: 北京市海淀区双清路30号清华大学
- 专利权人: 清华大学
- 当前专利权人: 清华大学
- 当前专利权人地址: 北京市海淀区双清路30号清华大学
- 代理机构: 北京路浩知识产权代理有限公司
- 代理商 耿向宇
- 主分类号: G06F16/36
- IPC分类号: G06F16/36 ; G06K9/62 ; G06N3/04 ; G06N3/08
摘要:
本发明提供一种面向链接预测的交互式多模态融合方法及装置,方法通过获取待预测知识图谱,包括结构化模态、可视化模态和文本模态;分别提取结构化模态、可视化模态和文本模态的高层次特征信息,得到结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示;对结构化模态嵌入表示、可视化模态嵌入表示和文本模态嵌入表示进行聚合,通过双线性矩阵计算得到多模态嵌入表示;分别通过各个不同的表示预测目标实体,得到结构化预测结果、可视化预测结果、文本预测结果和多模态预测结果;调整各个预测结果的权重,得到目标预测结果,通过多模态融合能够有效地保留各模态中的专有知识实现互补性链接预测,极大地提高链接预测的准确度。