公开(公告)号：CN119476482A

公开(公告)日：2025-02-18

申请号：CN202411521465.1

申请日：2024-10-29

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  曹鹏飞 ,  赵军 ,  刘康 ,  李嘉淳

IPC: G06N5/04 ,  G06N3/045

Abstract: 本发明提供一种针对大型语言模型的毒性思维链分析和优化方法及装置，方法包括：获取问题文本输入到大语言模型进行文本问答；通过归因追踪分析生成毒性思维链时存在的推理漂移信息损失，或者通过因果追踪分析根据毒性思维链生成回答文本时存在的回答偏移信息损失；当分析出存在推理漂移信息损失时，对毒性思维链进行残差解码得到优化思维链，当分析出存在回答漂移信息损失时，在思维链文本片段中，将问题文本与毒性思维链进行文本序列位置交换，得到优化文本序列，以使大语言模型基于优化思维链或优化文本序列，生成回答文本。通过本申请，克服在问答场景中，大语言模型毒性思维链的优化方法不能普遍适应，导致推理性能低下的缺陷。

公开(公告)号：CN113761925A

公开(公告)日：2021-12-07

申请号：CN202110837136.8

申请日：2021-07-23

Applicant: 中国科学院自动化研究所

Inventor： 刘康 ,  赵军 ,  陈玉博 ,  黄修胜

IPC: G06F40/295 ,  G06F40/216 ,  G06K9/62

Abstract: 本发明提供一种基于噪声感知机制的命名实体识别方法、装置及设备，其中方法包括：确定待识别文本；将待识别文本输入至命名实体识别模型，得到命名实体识别模型输出的识别结果；命名实体识别模型是基于干净样本集合训练得到的，干净样本集合是基于原始样本集合中各样本文本的训练统计量，对原始样本集合进行噪声筛除得到的，训练统计量是在基于样本文本进行训练过程中统计的预测结果和标签之间的差异。本发明提供的方法、装置、电子设备和存储介质，能够通过获取待识别文本的识别结果，根据识别结果对待识别文本进行命名实体类型判定，克服了命名实体识别数据集中正确样本和噪声样本难以区分的问题，实现了待识别文本的命名实体类型的精确识别。

公开(公告)号：CN110941955A

公开(公告)日：2020-03-31

申请号：CN201911167293.1

申请日：2019-11-25

Applicant: 中国科学院自动化研究所

Inventor： 刘康 ,  陈玉博 ,  赵军 ,  刘健

IPC: G06F40/211 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明涉及自然语言处理技术领域，具体涉及一种跨语言事件分类方法和装置。为了解决现有技术极大依赖高质量的机器翻译系统或者大规模的平行语料的问题，本发明提出一种跨语言事件分类方法，该方法包括从预先获取的目标语言的语料中获取所述目标语言对应的第一向量；从预先获取的源语言的语料中获取所述源语言对应的第二向量；根据所述第一向量和所述第二向量构建所述目标语言和所述源语言的映射关系；根据所述映射关系并通过对抗学习网络将所述源语言映射为所述目标语言；基于所述目标语言并通过所述事件类型分类器对所述目标语言对应的事件进行分类。利用本发明的方法和装置能够提高对事件识别的准确率。

公开(公告)号：CN107688583A

公开(公告)日：2018-02-13

申请号：CN201610640647.X

申请日：2016-08-05

Applicant: 株式会社NTT都科摩 ,  中国科学院自动化研究所

Inventor： 王晓利 ,  张永生 ,  刘康 ,  王炳宁 ,  陈玉博 ,  魏琢钰 ,  赵军

IPC: G06F17/30 ,  G06K9/62

Abstract: 本发明涉及一种创建用于自然语言处理装置的训练数据的方法和设备，以及利用该训练数据的自然语言处理装置。一种创建用于自然语言处理系统的训练数据的方法，包括：接收创建所述训练数据的请求；获得用于创建所述训练数据的自然语言语料库输入；确定所述训练数据所需的分包参数；基于所述分包参数，将所述自然语言语料库输入分为多个包，所述多个包的每个包括多个示例；对于所述多个示例的每一个，自动提取句子级特征向量，其中，具有所述句子级特征向量的所述多个包作为所述训练数据。

公开(公告)号：CN119378692A

公开(公告)日：2025-01-28

申请号：CN202411945230.5

申请日：2024-12-27

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  曹鹏飞 ,  金卓然 ,  苑红榜

IPC: G06N5/04 ,  G06N3/045 ,  G06F40/20 ,  G06F40/295

Abstract: 本发明提供一种幻觉文本缓解方法、装置、设备、存储介质及程序产品，应用于自然语言处理技术领域。该方法包括：获取大语言模型生成的第一幻觉文本；通过基础修正器对所述第一幻觉文本进行修正，得到第二幻觉文本；通过评估器评估所述第二幻觉文本，得到文本评价信息和此次修正过程的质量评分；在所述质量评分超过预设阈值的情况下，将所述第二幻觉文本作为输出文本；在所述质量评分不超过所述预设阈值的情况下，基于所述文本评价信息，通过反思器确定缓解策略；根据所述缓解策略调整所述基础修正器的修正策略，并将所述第二幻觉文本重新输入调整后的所述基础修正器中。

公开(公告)号：CN119358624A

公开(公告)日：2025-01-24

申请号：CN202411309928.8

申请日：2024-09-19

Applicant: 中国科学院自动化研究所

Inventor： 赵军 ,  曹鹏飞 ,  陈玉博 ,  刘康 ,  金卓然

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/042 ,  G06N3/0499

Abstract: 本发明提供一种基于冲突注意力头剪枝的知识冲突消除方法以及装置，其中，上述方法包括：获取原始输入与干扰输入；基于原始输入运行目标语言模型，确定每个注意力头的原始激活状态；基于干扰输入运行目标语言模型，确定每个注意力头的干扰激活状态；分别将每个注意力头的原始激活状态替换为干扰激活状态，确定每个注意力头的输出变化量；进而确定每个注意力头的代理重要性分数；基于每个注意力头的代理重要性分数进行排序，将目标序号的注意力头作为冲突注意力头，其中，冲突注意力头为上下文头；对冲突注意力头进行注意力剪枝，以消除目标语言模型的知识冲突；通过本发明能够提高模型在处理内部记忆和外部上下文时的灵活性。

公开(公告)号：CN118733413A

公开(公告)日：2024-10-01

申请号：CN202410761163.5

申请日：2024-06-13

Applicant: 中国科学院自动化研究所 ,  上海人工智能创新中心

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  曹鹏飞 ,  张保礼 ,  杜鹏帆

IPC: G06F11/34

Abstract: 本申请提供一种大模型能力多维评测方法和装置，涉及人工智能技术领域，包括：基于模型评测能力体系，确定对各个待评测模型进行评测的多个能力评测维度；确定各个能力评测维度对应的评测题；基于各个能力评测维度对应的评测题，对各个待评测模型进行评测，确定各个待评测模型在各个能力评测维度下的评测结果；基于各个待评测模型在各个能力评测维度下的评测结果，确定各个待评测模型的多维评测结果。本申请提供的方法和装置，提高了大模型能力评测的准确性和全面性。

公开(公告)号：CN110209816B

公开(公告)日：2021-06-08

申请号：CN201910440322.0

申请日：2019-05-24

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  刘健

IPC: G06F16/35 ,  G06F40/126

Abstract: 本发明属于自然语言处理领域，具体涉及了一种基于对抗模仿学习的事件识别及分类方法、系统、装置，旨在解决传统事件识别及分类方法语言处理工具存在错误累计导致事件识别准确率低的问题。本发明方法包括：获取不含标准标注信息的句子并输入；将每一个词特征化后的词向量集构成词向量特征矩阵；采用向量编码器对词向量特征矩阵进行编码，并采用注意力机制为每一个词分配权重，获得知识向量；采用事件类型分类器依据知识向量计算输入信息属于各事件类别的概率；概率值最高的事件类别作为输入信息的事件类别。本发明不依赖自然语言处理工具对信息进行抽取，避免错误积累，提高了事件识别的准确率。

公开(公告)号：CN112101484B

公开(公告)日：2021-02-12

申请号：CN202011244409.X

申请日：2020-11-10

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  赵军 ,  刘康 ,  曹鹏飞

IPC: G06K9/62

Abstract: 本发明属于自然语言处理技术领域，具体涉及一种基于知识巩固的增量事件识别方法、系统、装置，旨在解决现有的事件识别方法在微调模型后识别新类别的事件时，容易出现灾难遗忘，导致识别精度较低的问题。本系统方法包括获取待识别事件的文本，作为输入文本；通过预训练的语言模型提取输入文本中各单词的上下文特征；基于所述上下文特征，通过多层感知器模型得到待识别事件的类别。本发明提高了事件识别的精度。

公开(公告)号：CN109783812B

公开(公告)日：2020-08-11

申请号：CN201811621018.8

申请日：2018-12-28

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  曹鹏飞

IPC: G06F40/295 ,  G06F40/289

Abstract: 本发明属于自然语言处理技术领域，具体涉及一种基于自注意力机制的中文命名实体识别方法、系统、装置，旨在为了解决解决中文命名实体识别的准确度不能满足需求的问题。本发明方法包括：提取待识别语句的私有特征h1、共有特征s1；基于自注意力机制分别计算共有特征s1、私有特征h1对应的长距离依赖关系，获取基于依赖关系的私有特征h′1、基于依赖关系的共有特征s′1；通过任务分类器判断所述待识别语句是否为中文命名实体识别数据时将h′1与s′1进行拼接，获取融合后的中文命名实体识别数据特征h″1，采用条件随即场对融合之后的特征h″1进行标签预测。本发明有效地提高了中文命名实体识别的准确度。