公开(公告)号：CN118377870A

公开(公告)日：2024-07-23

申请号：CN202410423509.0

申请日：2024-04-09

Applicant: 中国科学院自动化研究所

Inventor： 曹鹏飞 ,  陈玉博 ,  刘康 ,  赵军 ,  金卓然

IPC: G06F16/332 ,  G06F18/22 ,  G06F18/214

Abstract: 本发明提供一种基于大语言模型指导的无监督对话检索器的训练方法，方法包括：获取样本对话查询数据，以及初始对话检索器；基于初始对话检索器，生成样本对话查询数据的回复参考文档；基于大语言模型，确定样本对话查询数据与回复参考文档之间的相关性结果；基于相关性结果，指导初始对话检索器进行参数迭代，直至得到最终的对话检索器。本发明提供的方法，借助于大语言模型零样本泛化能力，将大语言模型的知识理解能力应用到得到样本对话数据与回复参考文档之间的相关性结果的任务上，提升了初始检索器的训练效率。并且，可以使得对话检索器具备大语言模型强大的对话理解能力，同时也提升了对话检索器的对话理解能力和检索性能。

公开(公告)号：CN118606444A

公开(公告)日：2024-09-06

申请号：CN202410656522.0

申请日：2024-05-24

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  曹鹏飞 ,  刘康 ,  赵军 ,  金卓然

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/36 ,  G06N5/022

Abstract: 本发明涉及自然语言处理技术领域，提供一种面向检索增强语言模型的知识冲突分析缓解方法，利用模型内部记忆答案、外部来源答案和回复结果，从回复结果的正确性、忠实性和模型记忆性中至少一个角度，对检索增强语言模型进行知识冲突分析，得到分析结果，如此可以更加清晰的确定出检索增强语言模型存在的问题。在分析结果是检索增强语言模型存在知识冲突的情况下，利用问题样本及其对应于知识冲突的类型的答案样本，对检索增强语言模型进行训练，以缓解检索增强语言模型的知识冲突问题，提高其平均召回率，更好地校准检索增强语言模型的置信度水平，提高其在面对知识冲突时的决策质量，确保检索增强语言模型能够在面对复杂的信息时做出准确判断。

公开(公告)号：CN119378692A

公开(公告)日：2025-01-28

申请号：CN202411945230.5

申请日：2024-12-27

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  曹鹏飞 ,  金卓然 ,  苑红榜

IPC: G06N5/04 ,  G06N3/045 ,  G06F40/20 ,  G06F40/295

Abstract: 本发明提供一种幻觉文本缓解方法、装置、设备、存储介质及程序产品，应用于自然语言处理技术领域。该方法包括：获取大语言模型生成的第一幻觉文本；通过基础修正器对所述第一幻觉文本进行修正，得到第二幻觉文本；通过评估器评估所述第二幻觉文本，得到文本评价信息和此次修正过程的质量评分；在所述质量评分超过预设阈值的情况下，将所述第二幻觉文本作为输出文本；在所述质量评分不超过所述预设阈值的情况下，基于所述文本评价信息，通过反思器确定缓解策略；根据所述缓解策略调整所述基础修正器的修正策略，并将所述第二幻觉文本重新输入调整后的所述基础修正器中。

公开(公告)号：CN119358624A

公开(公告)日：2025-01-24

申请号：CN202411309928.8

申请日：2024-09-19

Applicant: 中国科学院自动化研究所

Inventor： 赵军 ,  曹鹏飞 ,  陈玉博 ,  刘康 ,  金卓然

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/042 ,  G06N3/0499

Abstract: 本发明提供一种基于冲突注意力头剪枝的知识冲突消除方法以及装置，其中，上述方法包括：获取原始输入与干扰输入；基于原始输入运行目标语言模型，确定每个注意力头的原始激活状态；基于干扰输入运行目标语言模型，确定每个注意力头的干扰激活状态；分别将每个注意力头的原始激活状态替换为干扰激活状态，确定每个注意力头的输出变化量；进而确定每个注意力头的代理重要性分数；基于每个注意力头的代理重要性分数进行排序，将目标序号的注意力头作为冲突注意力头，其中，冲突注意力头为上下文头；对冲突注意力头进行注意力剪枝，以消除目标语言模型的知识冲突；通过本发明能够提高模型在处理内部记忆和外部上下文时的灵活性。