-
公开(公告)号:CN108345583A
公开(公告)日:2018-07-31
申请号:CN201711463578.0
申请日:2017-12-28
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及自然语言处理技术领域,具体涉及一种基于多语注意力机制的事件识别及分类方法及装置,旨在为了解决单语特征识别效果不能满足需求的问题,本发明的方法包括:将仅标注单语事件信息的数据映射为多语平行数据;将所述多语平行数据进行词汇级别对齐,通过多语对齐关系得到同一事件在多种不同语言中的一致性表示;基于单语注意力模型获取多语一致性信息;基于多语注意力模型获取多语互补性信息;基于所述多语一致性信息和所述多语互补性信息进行联合推理,通过非线性神经网络判别模型输出最终的识别结果。本发明可以提高事件的识别效果。
-
公开(公告)号:CN119168055A
公开(公告)日:2024-12-20
申请号:CN202411051838.3
申请日:2024-08-01
Applicant: 中国科学院自动化研究所 , 上海人工智能创新中心
IPC: G06N5/04 , G06N5/045 , G06N5/022 , G06F16/9032
Abstract: 本发明提供一种基于知识库与语言模型的问答方法及装置,该方法包括:将目标问题输入至知识生成模型中输出至少一维目标知识信息;将根据目标问题和各维目标知识信息获取的目标输入信息输入至问答模型中,得到目标问题对应的答案预测信息;知识生成模型是基于知识库中的第一知识元组生成的第一候选问题、根据第一候选问题以及知识库中的第二知识元组生成的第二候选问题、根据第一知识元组转换的第一样本知识信息和通过大型语言模型对第二候选问题进行提示信息学习得到的第二样本知识信息,对小型语言模型进行训练的。本发明融合知识库与语言模型训练出可生成高质量知识信息,且小尺寸的知识生成模型,以便捷、高效地预测出高精度的答案。
-
公开(公告)号:CN118377870A
公开(公告)日:2024-07-23
申请号:CN202410423509.0
申请日:2024-04-09
Applicant: 中国科学院自动化研究所
IPC: G06F16/332 , G06F18/22 , G06F18/214
Abstract: 本发明提供一种基于大语言模型指导的无监督对话检索器的训练方法,方法包括:获取样本对话查询数据,以及初始对话检索器;基于初始对话检索器,生成样本对话查询数据的回复参考文档;基于大语言模型,确定样本对话查询数据与回复参考文档之间的相关性结果;基于相关性结果,指导初始对话检索器进行参数迭代,直至得到最终的对话检索器。本发明提供的方法,借助于大语言模型零样本泛化能力,将大语言模型的知识理解能力应用到得到样本对话数据与回复参考文档之间的相关性结果的任务上,提升了初始检索器的训练效率。并且,可以使得对话检索器具备大语言模型强大的对话理解能力,同时也提升了对话检索器的对话理解能力和检索性能。
-
公开(公告)号:CN115618863A
公开(公告)日:2023-01-17
申请号:CN202211643975.7
申请日:2022-12-20
Applicant: 中国科学院自动化研究所 , 国网天津市电力公司 , 国家电网有限公司
IPC: G06F40/284 , G06F40/30
Abstract: 本发明实施例提供一种文本事件序列生成方法、装置、设备和存储介质,属于文本处理技术领域,该方法包括:获取目标文本的第一事件序列;第一事件序列为乱序和/或不完整的事件序列;将目标文本的第一事件序列输入文本事件序列生成模型,得到目标文本的目标事件序列;其中,文本事件序列生成模型是基于样本文本的目标事件序列、样本文本的第一事件序列和目标损失训练得到的;目标损失是基于样本文本的第一事件序列的事件向量和样本文本的预测事件序列的事件向量确定的。本发明实施例的方法从事件序列中的事件语义这个全局角度进行文本事件序列生成模型的训练,使得训练后的文本事件序列生成模型可以基于事件语义准确的进行文本事件序列的生成。
-
公开(公告)号:CN111858898A
公开(公告)日:2020-10-30
申请号:CN202010753509.9
申请日:2020-07-30
Applicant: 中国科学院自动化研究所 , 腾讯科技(深圳)有限公司
IPC: G06F16/332 , G06F40/211 , G06F40/289 , G06N3/04
Abstract: 本申请提供了一种基于人工智能的文本处理方法、装置、电子设备及计算机可读存储介质;方法包括:对文本中属于同一句子的多个词语进行特征提取处理,得到多个词语的特征表示,以作为句子的句子级信息;对文本中的多个句子进行特征提取处理,得到多个句子的特征表示,以作为文本级信息;从知识库中获取文本中属于同一句子的多个词语的设定特征表示,以作为句子的设定信息;针对文本中的每个词语,根据词语所在句子的句子级信息、文本级信息、以及词语所在句子的设定信息,更新词语的特征表示,并根据词语的更新后的特征表示进行类型预测处理,得到词语的预测类型。通过本申请,能够提升得到的预测类型的精度,进而能够提升问答服务的智能化程度。
-
公开(公告)号:CN108345583B
公开(公告)日:2020-07-28
申请号:CN201711463578.0
申请日:2017-12-28
Applicant: 中国科学院自动化研究所
Abstract: 本发明涉及自然语言处理技术领域,具体涉及一种基于多语注意力机制的事件识别及分类方法及装置,旨在为了解决单语特征识别效果不能满足需求的问题,本发明的方法包括:将仅标注单语事件信息的数据映射为多语平行数据;将所述多语平行数据进行词汇级别对齐,通过多语对齐关系得到同一事件在多种不同语言中的一致性表示;基于单语注意力模型获取多语一致性信息;基于多语注意力模型获取多语互补性信息;基于所述多语一致性信息和所述多语互补性信息进行联合推理,通过非线性神经网络判别模型输出最终的识别结果。本发明可以提高事件的识别效果。
-
公开(公告)号:CN110209816A
公开(公告)日:2019-09-06
申请号:CN201910440322.0
申请日:2019-05-24
Applicant: 中国科学院自动化研究所
Abstract: 本发明属于自然语言处理领域,具体涉及了一种基于对抗模仿学习的事件识别及分类方法、系统、装置,旨在解决传统事件识别及分类方法语言处理工具存在错误累计导致事件识别准确率低的问题。本发明方法包括:获取不含标准标注信息的句子并输入;将每一个词特征化后的词向量集构成词向量特征矩阵;采用向量编码器对词向量特征矩阵进行编码,并采用注意力机制为每一个词分配权重,获得知识向量;采用事件类型分类器依据知识向量计算输入信息属于各事件类别的概率;概率值最高的事件类别作为输入信息的事件类别。本发明不依赖自然语言处理工具对信息进行抽取,避免错误积累,提高了事件识别的准确率。
-
公开(公告)号:CN119204091A
公开(公告)日:2024-12-27
申请号:CN202411294781.X
申请日:2024-09-14
Applicant: 中国科学院自动化研究所
IPC: G06N3/042 , G06F18/22 , G06N3/045 , G06N3/084 , G06N3/0985 , G06N3/0442
Abstract: 本发明提供一种基于模式匹配的大型语言模型知识编辑方法及装置,其中,上述方法包括:获取目标编辑知识,其中,所述目标编辑知识用于对大型语言模型进行知识更新;确定所述大型语言模型中各个层级与所述目标编辑知识之间的多个模式匹配程度;确定所述多个模式匹配程度中的最高模式匹配程度,将所述最高模式匹配程度所对应的层级作为目标编辑层;基于所述目标编辑知识对所述目标编辑层的多层感知机进行秩一编辑,得到编辑后的大型语言模型;通过本发明能够在准确进行知识编辑的同时不影响其他无关数据。
-
公开(公告)号:CN118606835A
公开(公告)日:2024-09-06
申请号:CN202410656752.7
申请日:2024-05-24
Applicant: 中国科学院自动化研究所 , 上海人工智能创新中心
IPC: G06F18/2431 , G06F18/214 , G06N20/00
Abstract: 本申请提供一种持续小样本事件检测方法及装置,涉及自然语言处理技术领域。所述方法包括:基于历史任务的第一记忆集中的代表样本的事件对进行记忆增强,得到第一事件对;基于当前任务的第二记忆集中事件对的类别进行对比增强,得到第二事件对;基于所述第一事件对与所述第二事件对,确定目标模型;通过所述目标模型对当前任务的持续小样本事件进行检测。本申请提供的持续小样本事件检测方法及装置,可以提升持续小样本事件检测任务的性能。
-
公开(公告)号:CN113761875B
公开(公告)日:2022-12-06
申请号:CN202110827424.5
申请日:2021-07-21
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种事件抽取方法、装置、电子设备及存储介质,其中方法包括:获取待抽取文档;将所述待抽取文档输入至事件抽取模型,得到所述事件抽取模型输出的所述待抽取文档对应的预测结果;其中,所述预测结果包括多个预测事件,以及每一预测事件对应的事件元素;所述事件抽取模型用于基于所述待抽取文档中每一语句的上下文特征和事件元素,确定所述待抽取文档中事件之间的关系、角色之间的关系和事件到角色之间的关系,并确定所述预测结果。本发明提供的方法、装置、电子设备及存储介质,能够同时提取多个事件,并实现事件元素的准确分配,减小了事件抽取的误差,提高了事件抽取的准确性。
-
-
-
-
-
-
-
-
-