一种文本-图像增强的多模态知识图谱嵌入方法
摘要:
本发明公开了一种文本‑图像增强的多模态知识图谱嵌入方法,包括:文本编码器对实体的描述性文本进行编码,获得实体的文本表示形式;图像编码器提取实体图像的特征,并通过投影矩阵把图像特征从图像空间投影到实体空间,进而得到实体的图像表示形式;实体关系表示模型使用经典的RL方法基于平移的模型对知识图谱事实三元组进行建模,把关系看作是头实体到尾实体的平移操作,融合实体的文本表示形式和图像表示形式得到实体的结构表示形式并实现关系空间嵌入;构建损失函数,联合训练实体关系表示模型,优化实体、关系、文本和图像的表示形式及关系空间嵌入。本发明同时考虑了实体文本描述和实体图像,可实现结构信息和文本信息、图像信息的融合。
0/0