-
公开(公告)号:CN111126054A
公开(公告)日:2020-05-08
申请号:CN201911223234.1
申请日:2019-12-03
申请人: 东软集团股份有限公司
IPC分类号: G06F40/284 , G06F40/30 , G06F40/189 , G06K9/62
摘要: 本公开涉及一种确定相似文本的方法、装置、存储介质及电子设备,以避免匹配出与目标文本描述方式相似,但是关键部分不同的相似文本。该方法包括:接收客户端发送的用于查找目标文本的相似文本的请求;响应于接收到该请求,将目标文本输入文本匹配模型中,得到与目标文本对应的相似文本;将相似文本发送给客户端进行显示;其中,文本匹配模型用于:对目标文本中的分词标注用于表征该分词语义类型的标签;针对多个模板文本中的每个模板文本,对模板文本与目标文本中标签相同的分词进行相似度计算,以得到模板文本与目标文本间的相似度;根据该相似度,在多个模板文本中确定与目标文本对应的相似文本。
-
公开(公告)号:CN110705282A
公开(公告)日:2020-01-17
申请号:CN201910833971.7
申请日:2019-09-04
申请人: 东软集团股份有限公司
IPC分类号: G06F40/289 , G06F40/216 , G06F16/33
摘要: 本公开涉及一种关键词提取方法、装置、存储介质及电子设备,以增加文本中词与词之间的权重值区分度,使关键词提取更加准确。该方法包括:获取待进行关键词提取的第一文本;对第一文本进行分词,得到多个分词;将多个分词输入词图模型中,得到每个分词对应的权重值;根据每个分词对应的权重值,对第一文本进行关键词提取;其中,词图模型用于通过如下方式确定每个分词的权重值:获取目标词图;在目标词图中,确定第一分词对应的节点与第二分词对应的节点之间的第一边权值;在预设词图中确定第一分词对应的节点与第二分词对应的节点之间的第二边权值;根据第一边权值与第二边权值,确定目标词图中的第一分词对应节点的权重值。
-
公开(公告)号:CN111104800B
公开(公告)日:2024-01-23
申请号:CN201911349763.6
申请日:2019-12-24
申请人: 东软集团股份有限公司
IPC分类号: G06F40/295 , G06F40/289 , G06F40/30 , G06F16/35 , G06N3/0464 , G06N3/0442 , G06N3/08
摘要: 本申请公开了实体识别方法,当需要对待识别文本中的实体进行识别时,获取待识别文本对应的第一向量序列,利用实体识别模型确定第一向量序列中每个第一向量对应的第一标签,第一标签用于标识第一粒度下的实体识别结果。然后,根据第一标签,利用实体识别模型对第一向量对应的文本进行组合,根据组合结果对应的第二向量序列,利用实体识别模型确定第二向量序列中每个第二向量对应的第二标签,第二标签用于标识第二粒度下的实体识别结果,其中,第二粒度大于第一粒度,从而根据第二标签,识别待识别文本中的目标实体。可见,该方法可以避免难以保证覆盖率而影响实体识别准确性的问题,并且进一步提高了第二粒度下实体结果的准确性。
-
公开(公告)号:CN110727762B
公开(公告)日:2022-04-29
申请号:CN201910878064.4
申请日:2019-09-17
申请人: 东软集团股份有限公司
摘要: 本公开涉及一种确定相似文本的方法、装置、存储介质及电子设备,以减少查找相似文本的时间,提高查找相似文本的效率。该方法应用于服务器,包括:接收客户端发送的用于查找目标文本的相似文本的请求;根据目标文本的特征向量与数据库中的每一类文本的中心向量之间的距离,确定目标文本的相似文本;将相似文本发送给客户端进行显示;其中,数据库中的文本是通过如下方式进行分类的:确定数据库中的多个文本分别的特征向量;确定每个特征向量的相邻向量个数占向量总数的比例;根据比例、以及距离阈值与比例之间的预设对应关系,确定对应比例的目标距离阈值;根据目标距离阈值对多个文本进行分类。
-
公开(公告)号:CN109710927B
公开(公告)日:2022-12-20
申请号:CN201811519563.6
申请日:2018-12-12
申请人: 东软集团股份有限公司
IPC分类号: G06F40/295
摘要: 本公开涉及一种命名实体的识别方法、装置、可读存储介质及电子设备。方法包括:确定文本中的第t个目标分词xt对应的所有可能的真实分词;针对每个所述真实分词,分别确定各分词状态对应于该真实分词的第一条件概率p(ad|li),其中,ad表征第d个真实分词,li表征第i个分词状态;根据每个所述真实分词对应于所述目标分词xt的第二条件概率p(xt|ad)、以及所述第一条件概率p(ad|li),确定各分词状态对应于所述目标分词xt的第三条件概率p(xt|li);根据所述第三条件概率p(xt|li),对所述目标分词xt进行命名实体识别。这样,提高了命名实体识别的准确率和召回率,并且还可有效避免在文本识别过程中出现多字、少字或者错别字的情况。
-
公开(公告)号:CN111104800A
公开(公告)日:2020-05-05
申请号:CN201911349763.6
申请日:2019-12-24
申请人: 东软集团股份有限公司
IPC分类号: G06F40/289 , G06F40/295 , G06F40/30 , G06N3/04 , G06N3/08
摘要: 本申请公开了实体识别方法,当需要对待识别文本中的实体进行识别时,获取待识别文本对应的第一向量序列,利用实体识别模型确定第一向量序列中每个第一向量对应的第一标签,第一标签用于标识第一粒度下的实体识别结果。然后,根据第一标签,利用实体识别模型对第一向量对应的文本进行组合,根据组合结果对应的第二向量序列,利用实体识别模型确定第二向量序列中每个第二向量对应的第二标签,第二标签用于标识第二粒度下的实体识别结果,其中,第二粒度大于第一粒度,从而根据第二标签,识别待识别文本中的目标实体。可见,该方法可以避免难以保证覆盖率而影响实体识别准确性的问题,并且进一步提高了第二粒度下实体结果的准确性。
-
公开(公告)号:CN110727762A
公开(公告)日:2020-01-24
申请号:CN201910878064.4
申请日:2019-09-17
申请人: 东软集团股份有限公司
摘要: 本公开涉及一种确定相似文本的方法、装置、存储介质及电子设备,以减少查找相似文本的时间,提高查找相似文本的效率。该方法应用于服务器,包括:接收客户端发送的用于查找目标文本的相似文本的请求;根据目标文本的特征向量与数据库中的每一类文本的中心向量之间的距离,确定目标文本的相似文本;将相似文本发送给客户端进行显示;其中,数据库中的文本是通过如下方式进行分类的:确定数据库中的多个文本分别的特征向量;确定每个特征向量的相邻向量个数占向量总数的比例;根据比例、以及距离阈值与比例之间的预设对应关系,确定对应比例的目标距离阈值;根据目标距离阈值对多个文本进行分类。
-
公开(公告)号:CN110705275A
公开(公告)日:2020-01-17
申请号:CN201910882514.7
申请日:2019-09-18
申请人: 东软集团股份有限公司
IPC分类号: G06F40/284 , G06F16/35
摘要: 本公开涉及一种主题词提取方法、装置、存储介质及电子设备,以避免提取出的主题词之间毫不相关的情况。该方法包括:接收客户端发送的用于确定目标文本的主题词的请求;响应于接收到所述请求,将所述目标文本输入到主题词模型中进行处理,得到所述目标文本的主题词;其中,所述主题词模型中包括已标注主题词的多个文本,所述多个文本中的每个文本对应至少一个主题词,所述主题词模型用于通过如下方式对所述目标文本进行处理:在所述已标注主题词的多个文本中,确定所述目标文本的相似文本;确定所述相似文本中各主题词的目标权重值;将所述目标权重值最大的主题词确定为所述目标文本的主题词。
-
公开(公告)号:CN109815483B
公开(公告)日:2023-08-08
申请号:CN201811559551.6
申请日:2018-12-19
申请人: 东软集团股份有限公司
IPC分类号: G06F40/284
摘要: 本公开涉及一种合成词识别方法、装置、可读存储介质及电子设备。所述方法包括:分别计算目标领域与已标注文档集合中各个已标注领域之间的领域偏差,其中,已标注领域内的合成词已知;根据各个领域偏差,按照预设规则从各个已标注领域中确定出目标领域的至少一个相似领域;根据各个相似领域对应的HMM模型以及相似领域对应的权重,生成目标HMM模型;根据目标领域下的文本、目标HMM模型以及维特比算法,确定角色标注结果,角色标注结果用于指示文本中每个分词对应的角色状态;根据角色标注结果,确定目标领域下的文本中的合成词。这样,可提升合成词识别准确率,从而提升针对特定领域的分词的准确率和召回率,且可以节省人力。
-
公开(公告)号:CN110705275B
公开(公告)日:2023-04-25
申请号:CN201910882514.7
申请日:2019-09-18
申请人: 东软集团股份有限公司
IPC分类号: G06F40/284 , G06F16/35
摘要: 本公开涉及一种主题词提取方法、装置、存储介质及电子设备,以避免提取出的主题词之间毫不相关的情况。该方法包括:接收客户端发送的用于确定目标文本的主题词的请求;响应于接收到所述请求,将所述目标文本输入到主题词模型中进行处理,得到所述目标文本的主题词;其中,所述主题词模型中包括已标注主题词的多个文本,所述多个文本中的每个文本对应至少一个主题词,所述主题词模型用于通过如下方式对所述目标文本进行处理:在所述已标注主题词的多个文本中,确定所述目标文本的相似文本;确定所述相似文本中各主题词的目标权重值;将所述目标权重值最大的主题词确定为所述目标文本的主题词。
-
-
-
-
-
-
-
-
-