公开(公告)号：CN117435744A

公开(公告)日：2024-01-23

申请号：CN202311435877.9

申请日：2023-11-01

Applicant: 国网山东省电力公司威海供电公司

Inventor： 乔学明 ,  汤耀 ,  乔琳霏 ,  张东宁 ,  来晓帅 ,  许明 ,  郭腾炫 ,  张祥坤 ,  仝庆跃 ,  周君民 ,  李童心 ,  张轲舜 ,  孔令稷 ,  李玉文 ,  刘子姣 ,  宿毛毛

IPC: G06F16/36 ,  G06F16/33 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提出一种基于跨模态语义对齐的多模态知识图谱表示学习方法，包括步骤1、利用Bert模型、Vit模型以及HittER模型分别提取多模态知识图谱的文本模态、图像模态、结构化模态数据的特征向量表示；步骤2、基于改进的跨模态的对比学习算法，实现对多模态特征提取的语义信息的整合；步骤3、基于改进的Transformer架构，根据不同模态特征间的语义关联实现基于图谱结构的多模态特征融合；步骤4、基于步骤2中改进的跨模态的对比学习算法以及步骤3中改进的Transformer架构，提出多种跨模态预训练任务，得到基于多模态知识图谱表示学习模型。上述方法解决了现有多模态知识图谱表示学习方法在多模态特征融合过程中的噪音干扰问题，提高了模型的稳定性和鲁棒性。