-
公开(公告)号：CN118193684B
公开(公告)日：2024-07-23
申请号：CN202410607338.7
申请日：2024-05-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06V20/62 , G06F18/213 , G06F18/27 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种基于大语言模型和知识图谱的多模态推理方法及装置。基于大语言模型和知识图谱的多模态推理方法包括：将训练推理问题分为文本数据以及图像数据；根据文本数据以及图像数据，通过预设的多模态知识图谱进行检索，获得多模态知识子图；基于编码器的网络结构以及适配器的网络结构进行模型构建，获得MR‑MKG框架；将MR‑MKG框架加入大语言模型；使用文本数据、图像数据和多模态知识子图，对待训练多模态推理模型进行训练优化，获得多模态推理模型；根据目标推理问题，通过多模态推理模型进行推理，获得推理结果。本发明是一种基于多模态知识图谱的充分利用大语言模型推理能力的多模态推理方法。
-
公开(公告)号：CN118193684A
公开(公告)日：2024-06-14
申请号：CN202410607338.7
申请日：2024-05-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06V20/62 , G06F18/213 , G06F18/27 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种基于大语言模型和知识图谱的多模态推理方法及装置。基于大语言模型和知识图谱的多模态推理方法包括：将训练推理问题分为文本数据以及图像数据；根据文本数据以及图像数据，通过预设的多模态知识图谱进行检索，获得多模态知识子图；基于编码器的网络结构以及适配器的网络结构进行模型构建，获得MR‑MKG框架；将MR‑MKG框架加入大语言模型；使用文本数据、图像数据和多模态知识子图，对待训练多模态推理模型进行训练优化，获得多模态推理模型；根据目标推理问题，通过多模态推理模型进行推理，获得推理结果。本发明是一种基于多模态知识图谱的充分利用大语言模型推理能力的多模态推理方法。
