-
公开(公告)号:CN111738004B
公开(公告)日:2023-10-27
申请号:CN202010546972.6
申请日:2020-06-16
Applicant: 中国科学院计算技术研究所
IPC: G06F40/295
Abstract: 本发明实施例提供了一种命名实体识别模型的训练方法及命名实体识别的方法,本发明利用训练集训练BERT‑CRF模型得到经本轮训练的命名实体识别模型,然后用经本轮训练的命名实体识别模型标记待识别数据集得到弱标记的待识别数据集,从弱标记的待识别数据集中选择一部分与初始训练集合并作为新的训练数据集继续对命名实体识别模型进行下一轮训练,从而让命名实体识别模型在对待识别数据集进行识别前用待识别数据集对模型进行调整,使其具有更佳的泛化能力,最终提升模型在待识别数据集上的识别效果。
-
公开(公告)号:CN111967258B
公开(公告)日:2023-07-21
申请号:CN202010667443.1
申请日:2020-07-13
Applicant: 中国科学院计算技术研究所
IPC: G06F40/289 , G06F40/216
Abstract: 本发明实施例提供了一种构建共指消解模型的方法、共指消解的方法和介质,所述方法包括A1、构建初始共指消解模型,所述初始共指消解模型包括预训练模块、文段向量模块、指称词判断模块和共指判断模块,其中,所述预训练模块采用预训练的XLNet模型,所述指称词判断模块包括第一前馈网络,所述共指判断模块包括第二前馈网络;A2、获取包括多个句子的训练数据集,所述训练数据集带有人工标注的共指关系;A3、用所述训练数据集对初始共指消解模型进行多轮训练至其收敛获得共指消解模型。本发明实施例的技术方案可以提升共指消解过程对于长距离依赖的共指关系的判断性能。
-
公开(公告)号:CN115759103A
公开(公告)日:2023-03-07
申请号:CN202211527749.2
申请日:2022-11-30
Applicant: 中国科学院计算技术研究所
IPC: G06F40/295
Abstract: 本发明提供一种小样本命名实体识别模型训练方法,包括:S1、获取训练集、训练集类型描述集合以及支持集、支持集类型描述集合;S2、分别在训练集和支持集上挖掘每个样本中的线索词并进行线索词标注以分别获得包含命名实体标签和线索词标签的训练集和支持集;S3、采用经步骤S2处理后的训练集和训练集类型描述集合对基础命名实体识别模型进行多轮迭代训练至收敛;S4、采用经步骤S2处理后的支持集和支持集类型描述集合对经步骤S3训练后的基础命名实体识别模型进行迁移训练直至收敛,获得由编码器和最近邻分类器组成的小样本命名实体识别模型。
-
公开(公告)号:CN115658881A
公开(公告)日:2023-01-31
申请号:CN202211215316.3
申请日:2022-09-30
Applicant: 中国科学院计算技术研究所
IPC: G06F16/34 , G06N3/0455 , G06N3/08
Abstract: 本发明提出一种基于因果关系的序列到序列文本摘要生成方法和系统,属于自然语言处理和自动文本摘要生成领域。本方法受到因果理论的启发,从数据生成的角度研究了摘要任务中各要素的因果关系。该方法首先引入两个不可观测变量,得出摘要任务的结构因果模型;然后根据结构因果模型得出相应的序列到序列生成框架,用于建模原文和摘要的生成过程。该框架包含三个核心模块:双隐变量变分编码器、原文重构解码器和摘要预测解码器。此方法不仅比现有的端到端深度文本摘要方法具备更强的可解释性,还具备更好的摘要性能和更强的泛化能力。该方法是一个具备强适用性的序列到序列框架,因此可以迁移到更多模型主体、生成任务和不同数据集上。
-
公开(公告)号:CN111259658B
公开(公告)日:2022-08-19
申请号:CN202010080710.5
申请日:2020-02-05
Applicant: 中国科学院计算技术研究所
IPC: G06F40/279 , G06F40/216 , G06K9/62
Abstract: 本发明提出一种基于类别稠密向量表示的通用文本分类方法及系统,包括:获取包括以标记类别文本的训练数据,使用全连接网络处理该训练数据,得到各类别的类别稠密向量;将待分类文本输入至深度神经网络,得到该待分类文本中每个词的词稠密向量,并集合该词稠密向量得到该待分类文本的文本稠密向量;将该文本稠密向量和该类别稠密向量输入至匹配度测量模型,得到该待分类文本属于各类别的概率分布,将该待分类文本与该概率分布中概率最大的类别相匹配,作为该待分类文本的分类结果。本发明基于类别稠密向量表示,将文本分类问题转化为文本匹配问题,通过计算输入文本与每个类别之间的匹配程度,将文本分到匹配程度最大的类别之中。
-
公开(公告)号:CN114637855A
公开(公告)日:2022-06-17
申请号:CN202210223234.7
申请日:2022-03-09
Applicant: 腾讯科技(深圳)有限公司 , 中国科学院计算技术研究所
IPC: G06F16/36 , G06F16/33 , G06F16/338
Abstract: 本申请公开了一种基于知识图谱的搜索方法、装置、计算机设备及存储介质,涉及信息检索技术领域。所述方法包括:在知识图谱中确定与查询文本对应的候选实体列表,候选实体列表包括至少一个候选实体;对查询文本进行编码得到第一查询向量,以及对候选实体的知识图谱信息进行编码得到第一候选向量;将第一查询向量和第一候选向量输入自注意力层,得到第二查询向量和第二候选向量;根据第二查询向量和第二候选向量的向量相似度,确定查询文本与候选实体的相关度打分;根据相关度打分对候选实体进行排序,以及基于排序结果输出搜索结果。本申请通过自注意力层实现查询文本和候选实体列表中的各个候选实体的交互,提升了搜索的精确度。
-
公开(公告)号:CN114021566A
公开(公告)日:2022-02-08
申请号:CN202111268377.1
申请日:2021-10-29
Applicant: 中国科学院计算技术研究所
IPC: G06F40/295 , G06F16/36 , G06F16/35 , G06N3/08
Abstract: 本发明提出一种开放域文本的实体关系抽取方法和系统,包括:获取已标注的文本作为训练数据,实体识别抽取训练数据中所有命名实体和名词短语,并对其进行数据增强;以增强后的数据为输入,训练神经网络模型,得到实体关系分类模型;统计增强后的数据中各命名实体和名词短语出现的词频,并将词频大于预设值的命名实体和名词短语标记为过滤词汇;获取开放域文本及其对应的头实体,抽取开放域文本中除过滤词汇以外的命名实体和名词短语并输入实体关系分类模型,得到开放域文本的实体关系。通过有效的数据增强策略,无需增加额外的成本,有效解决由于候选尾实体带来的噪音问题导致的实体关系识别在实际应用中效果不佳的问题。
-
公开(公告)号:CN110287378B
公开(公告)日:2021-10-19
申请号:CN201910441015.4
申请日:2019-05-24
Applicant: 中国科学院计算技术研究所
IPC: G06F16/901 , G06F16/2458
Abstract: 本发明提出一种基于动态代码生成的图计算方法及系统,包括:根据建图请求,构造包含图操作原语的中间图结构,并将中间图结构与图名关联后存入中间图缓存器;根据图算法请求,生成由外部代码字节码构成的图算法结构,发送至图算法缓存器;以执行请求检索中间图缓存器和图算法缓存器,得到待执行中间图结构、待执行图算法结构与参数列表组成的三元组,并在本地代码缓存器中检索三元组,得到本地代码缓存器中的执行对象,以执行得到结果。本发明在本地代码空间中注入生成代码,消除了数据交换的开销;构建了可二次编译的中间图结构,使图数据的访问代码可进行编译优化;同时增加了中间图结构缓存与图算法缓存,规避了图计算的预处理开销。
-
公开(公告)号:CN110990059A
公开(公告)日:2020-04-10
申请号:CN201911191154.2
申请日:2019-11-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种用于倾斜数据的流式计算引擎运行方法及系统,包括:获取包含倾斜数据的用户作业,并将该用户作业转换为表示该用户作业的有向无环图,根据该有向无环图中算子的业务处理逻辑,将该有向无环图中节点划分为有状态算子和无状态算子;将全部状态算子包装为有状态任务后输入有状态数据流,将全部无状态算子包装为无状态任务后输入无状态数据流;将该无状态数据流中无状态任务复制发送至任意计算节点,得到无状态处理结果;将该有状态数据流中有状态任务转换为包含键和值的数据记录,将包含相同键的数据记录分配至相同计算节点,得到有状态处理结果,集合该无状态处理结果和有状态处理结果作为该用户作业的运行结果。
-
公开(公告)号:CN110502742A
公开(公告)日:2019-11-26
申请号:CN201910625736.0
申请日:2019-07-11
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种复杂实体抽取方法,用于迭层膨胀卷积神经网络,该神经网络包括字级别迭层膨胀卷积神经网络层和词级别迭层膨胀卷积神经网络层,该方法包括:语料生成步骤,用于构建实体语料集,以采集语料,并对该语料进行自定义格式标注,形成训练集、测试集和/或验证集;字级别向量生成步骤,用于对该语料进行预训练,生成字向量,并将该字向量输入该字级别迭层膨胀卷积神经网络层,得到字级别向量;自定义特征提取步骤,用于从自由文本中提取所述自定义格式标注的特征;实体抽取步骤,将所述字级别向量进行拼接后,与所述词级别特征输入该词级别迭层膨胀卷积神经网络层,对所述自由文本进行复杂实体的抽取。该方法提高了实体抽取的精度和效率。
-
-
-
-
-
-
-
-
-