公开(公告)号：CN117217312A

公开(公告)日：2023-12-12

申请号：CN202311085481.6

申请日：2023-08-25

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  刘康 ,  赵军 ,  廖桓萱

IPC: G06N5/04 ,  G06N5/022 ,  G06N3/04 ,  G06F16/28 ,  G06F16/901

Abstract: 本发明提供一种基于图神经网络的可解释知识图谱推理方法及装置，该基于图神经网络的可解释知识图谱推理方法包括：获取用户输入的待查询三元组，待查询三元组包括源实体和实体关系；根据源实体在知识图谱中的上下文信息构建知识图谱子图，并根据关系感知的注意力机制对知识图谱子图和实体关系进行编码，得到关系权重；基于关系权重对源实体在知识图谱中关联的关系路径进行聚合处理，得到关系路径表征。本发明所述方法通过结合结构信息、实体关系对不同实体的贡献度，以及其在各种规则路径中的重要性对源实体的关系路径进行综合分析，充分利用知识图谱的上下文信息和周围邻居节点信息，提升了推理结果的准确率。

公开(公告)号：CN118551009A

公开(公告)日：2024-08-27

申请号：CN202410626490.X

申请日：2024-05-20

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  张元哲 ,  刘康 ,  赵军 ,  廖桓萱

IPC: G06F16/332 ,  G06F16/33 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/0985

Abstract: 本发明提供一种基于想象增强的问答交互模型训练、问答交互方法及装置，所述方法包括：基于检索文本的压缩文本，对大语言模型进行微调，并基于微调后的大语言模型生成问题文本对应的虚拟文本，检索文本是问题文本的增强文本；将问题文本以及虚拟文本输入至学生模型，得到学生模型输出的问题文本的学生答案文本，学生模型的注意力层中添加有适配器，适配器的权重是将问题文本输入至元学习网络后确定的；基于学生答案文本与教师答案文本之间的差异，对学生模型进行蒸馏训练，得到问答交互模型；教师文本是将问题文本输入至学生模型对应的教师模型后生成的。本发明训练得到的问答交互模型能够高效且准确进行问答交互。

公开(公告)号：CN118916693A

公开(公告)日：2024-11-08

申请号：CN202410947007.8

申请日：2024-07-15

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  张元哲 ,  刘康 ,  赵军 ,  廖桓萱

IPC: G06F18/214 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/08

Abstract: 本公开关于模型的训练方法、装置、电子设备、存储介质和计算机程序产品，该方法包括：将训练演示和训练指令输入超网络编码器内；将编码结果输入适配器生成器内；基于适配器权重调整学生模型；将训练输入和编码结果输入调整后的学生模型；将训练数据输入教师模型，获得教师输出分布；计算训练损失；基于训练损失对超网络和学生模型进行训练。这样，可以基于训练演示和训练指令利用适配器生成器获得适配器权重，即可以自动从训练指令中生成特定任务的适配器，而无需对未见任务进行重新训练，降低了对大量标记数据的依赖，可以提高模型的跨任务泛化能力。并且，还可以实现降低计算开销、节省计算成本，提高了模型在实际应用中的适应性和灵活性。

公开(公告)号：CN117217312B

公开(公告)日：2025-02-28

申请号：CN202311085481.6

申请日：2023-08-25

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  刘康 ,  赵军 ,  廖桓萱

IPC: G06N5/04 ,  G06N5/022 ,  G06N3/04 ,  G06F16/28 ,  G06F16/901

Abstract: 本发明提供一种基于图神经网络的可解释知识图谱推理方法及装置，该基于图神经网络的可解释知识图谱推理方法包括：获取用户输入的待查询三元组，待查询三元组包括源实体和实体关系；根据源实体在知识图谱中的上下文信息构建知识图谱子图，并根据关系感知的注意力机制对知识图谱子图和实体关系进行编码，得到关系权重；基于关系权重对源实体在知识图谱中关联的关系路径进行聚合处理，得到关系路径表征。本发明所述方法通过结合结构信息、实体关系对不同实体的贡献度，以及其在各种规则路径中的重要性对源实体的关系路径进行综合分析，充分利用知识图谱的上下文信息和周围邻居节点信息，提升了推理结果的准确率。

公开(公告)号：CN119443166A

公开(公告)日：2025-02-14

申请号：CN202411626024.8

申请日：2024-11-14

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  张元哲 ,  刘康 ,  赵军 ,  徐遥 ,  廖桓萱

IPC: G06N3/0495 ,  G06N5/022 ,  G06N5/04 ,  G06N3/045 ,  G06N3/082 ,  G06N3/09 ,  G06N3/042

Abstract: 本发明提出了提升小型语言模型复杂推理的神经符号协同蒸馏方法，包括：首先，从大型语言模型中提取一般推理能力和通用知识，将其蒸馏至参数化的SLMs中；其次，针对复杂推理任务所需的特定能力和罕见知识，采用符号知识蒸馏手段，将这些知识存储在符号知识库中。通过这种一般能力与特定能力的解耦，能够以较小的模型规模和成本实现高性能。此外，本发明还包含一种多任务学习方法，通过引入辅助任务如增强蒸馏、答案预测和直接推理提示，进一步提升SLMs对可能噪声知识的鲁棒性，并有效利用特定知识。本发明增强了小型语言模型处理复杂推理任务的能力，适用于对一般认知能力及专业领域知识都有需求的复杂推理场景。