公开(公告)号：CN117993507A

公开(公告)日：2024-05-07

申请号：CN202410064061.8

申请日：2024-01-16

Applicant: 中国科学院信息工程研究所

Inventor： 于静 ,  熊刚 ,  冯思远 ,  丁阳 ,  李镇 ,  苟高鹏

IPC: G06N5/04 ,  G06N5/025 ,  G06N5/02 ,  G06N3/0455 ,  G06N3/08 ,  G06V20/60

Abstract: 本发明涉及一种基于跨模态预训练模型的多模态知识提取与积累方法及装置。该方法包括：从给定的“问题‑图像”对中提取多模态知识三元组；利用三种损失函数学习多模态知识三元组的表示；利用学习的多模态知识三元组的表示，采用预训练‑微调的策略进行多模态知识的逐步积累，形成多模态知识库；对于给定的问题和图像，利用多模态知识库通过知识检索进行答案预测。本发明用一种新的知识表示学习的框架，可以独立于已有的知识库，通过对VQA样本的观察积累具有复杂关系的多模态知识，并基于积累的知识进行可解释的推理。