专利检索 ap:("扬州大学") AND inv:"陈鼎" 第 1 页

1.

发明公开
基于图像生成算法和多模态大模型的实体对齐方法及系统审中-实审

公开(公告)号：CN117725230A

公开(公告)日：2024-03-19

申请号：CN202410066038.2

申请日：2024-01-17

申请人： 扬州大学

发明人： 李斌 , 陈鼎 , 史新晨

IPC分类号： G06F16/36 , G06F18/25 , G06N3/0499 , G06N3/0464 , G06N3/042 , G06N3/08

摘要： 本发明公开了一种基于图像生成算法和多模态大模型的实体对齐方法及系统，所述方法包括：对预先获取的两个多模态知识图谱数据使用多模态预训练模型CLIP进行数据的预处理；对图谱数据进行特征抽取得到不同模态的嵌入输出，考虑模态异质性；使用扩散模型生成伪视觉模态，补全多模态知识图谱中实体的视觉模态缺失，与其他模态提取后的嵌入联合，共同形成综合的实体嵌入；为不同模态嵌入分配权重，获得增强的模态数据，对分配完不同权重的模态信息进行拼接融合；采用特定的对比损失函数进行训练，最小化损失函数得到最后的实体对齐结果。本发明能有效提升知识图谱融合时实体对齐的效率和准确率，提高数据的利用价值和应用效果。