发明公开
- 专利标题: 一种文本-图像增强的多模态知识图谱嵌入方法
-
申请号: CN202210708381.3申请日: 2022-06-22
-
公开(公告)号: CN115099409A公开(公告)日: 2022-09-23
- 发明人: 王立松 , 肖桂阳 , 刘绍翰 , 江国华
- 申请人: 南京航空航天大学
- 申请人地址: 江苏省南京市江宁区秣陵街道将军大道29号
- 专利权人: 南京航空航天大学
- 当前专利权人: 南京航空航天大学
- 当前专利权人地址: 江苏省南京市江宁区秣陵街道将军大道29号
- 代理机构: 南京钟山专利代理有限公司
- 代理商 张力
- 主分类号: G06N5/02
- IPC分类号: G06N5/02 ; G06N3/04 ; G06N3/08 ; G06F40/205
摘要:
本发明公开了一种文本‑图像增强的多模态知识图谱嵌入方法,包括:文本编码器对实体的描述性文本进行编码,获得实体的文本表示形式;图像编码器提取实体图像的特征,并通过投影矩阵把图像特征从图像空间投影到实体空间,进而得到实体的图像表示形式;实体关系表示模型使用经典的RL方法基于平移的模型对知识图谱事实三元组进行建模,把关系看作是头实体到尾实体的平移操作,融合实体的文本表示形式和图像表示形式得到实体的结构表示形式并实现关系空间嵌入;构建损失函数,联合训练实体关系表示模型,优化实体、关系、文本和图像的表示形式及关系空间嵌入。本发明同时考虑了实体文本描述和实体图像,可实现结构信息和文本信息、图像信息的融合。