嵌套命名实体识别模型的训练方法、装置、设备和介质

    公开(公告)号:CN113656544B

    公开(公告)日:2024-03-15

    申请号:CN202110921590.1

    申请日:2021-08-11

    摘要: 本发明涉及嵌套命名实体识别模型的训练方法、装置、电子设备和存储介质,该方法包括:获取标注好的数据集,根据数据集确定第一数据集,根据第一数据集确定实体词边界预测结果;根据实体词边界预测结果确定实体类型预测结果;根据第一数据集、实体词边界预测结果和实体类型预测结果计算实体词边界预测损失和实体类型预测损失;根据实体词边界预测损失和实体类型预测损失调整模型参数得到嵌套命名实体识别模型。本申请实施例没有使用堆叠式的模型,避免了堆叠式LSTM+CRF错误传递的问题,并将实体词边界预测损失与实体类型预测损失结合起来调整模型参数得到嵌套命名实体识别模型,因为模型联合了实体词边界与实体类型的信息,提高了嵌套命名实体识别能力。

    嵌套命名实体识别模型的训练方法、装置、设备和介质

    公开(公告)号:CN113656555B

    公开(公告)日:2024-03-12

    申请号:CN202110957232.6

    申请日:2021-08-19

    摘要: 本发明涉及嵌套命名实体识别模型的训练方法、装置、设备和介质,该方法包括:获取标注好的数据集,根据数据集确定第一数据集,根据第一数据集确定实体词边界开始向量和实体词边界结束向量;根据实体词边界开始向量和实体词边界结束向量确定命名实体识别预测得分矩阵;根据命名实体识别预测得分矩阵确定文字样本对应的实体类型的预测结果;根据第一数据集和实体类型的预测结果计算得到实体类型预测损失;根据实体类型预测损失调整模型参数得到嵌套命名实体识别模型。本申请没有使用堆叠式的模型,避免了错误传递的问题,并根据实体词边界词确定实体类型预测损失,通过预测损失调整模型参数得到嵌套命名实体识别模型,提高了嵌套命名实体识别能力。

    电力设备技术标准文档排序方法、装置、电子设备和介质

    公开(公告)号:CN113515620A

    公开(公告)日:2021-10-19

    申请号:CN202110820557.X

    申请日:2021-07-20

    摘要: 本发明涉及一种电力设备技术标准文档排序方法、装置、电子设备和介质,该方法包括:获取一条query和待排序的多个电力设备技术标准文档;将一条query和所述待排序的多个电力设备技术标准文档拼接输入到预先训练的BERT模型中,得到多个文本相似度得分;根据多个文本相似度得分的排序确定待排序的多个电力设备技术标准文档序列。本申请实施例中通过将一条query和所述待排序的多个电力设备技术标准文档拼接输入到预先训练的BERT模型得到多篇电力设备技术标准文档中每篇技术文档与query的文本相似度得分,相似度得分最高的电力设备技术标准文档排在最前面。从而快捷的得到了与query相关的电力设备技术标准文档的排序,不仅节省了人力物力,而且提高了排序的效率。

    嵌套命名实体识别模型的训练方法、装置、设备和介质

    公开(公告)号:CN113656544A

    公开(公告)日:2021-11-16

    申请号:CN202110921590.1

    申请日:2021-08-11

    摘要: 本发明涉及嵌套命名实体识别模型的训练方法、装置、电子设备和存储介质,该方法包括:获取标注好的数据集,根据数据集确定第一数据集,根据第一数据集确定实体词边界预测结果;根据实体词边界预测结果确定实体类型预测结果;根据第一数据集、实体词边界预测结果和实体类型预测结果计算实体词边界预测损失和实体类型预测损失;根据实体词边界预测损失和实体类型预测损失调整模型参数得到嵌套命名实体识别模型。本申请实施例没有使用堆叠式的模型,避免了堆叠式LSTM+CRF错误传递的问题,并将实体词边界预测损失与实体类型预测损失结合起来调整模型参数得到嵌套命名实体识别模型,因为模型联合了实体词边界与实体类型的信息,提高了嵌套命名实体识别能力。

    多轮会话中语义解析结果的补充消解方法及装置

    公开(公告)号:CN108549662B

    公开(公告)日:2021-08-06

    申请号:CN201810219417.5

    申请日:2018-03-16

    发明人: 魏文轩

    摘要: 本发明是关于一种多轮会话中语义解析结果的补充消解方法及装置,其中,方法包括:对获取到的用户输入的第一问题进行语义解析,并根据得到的第一语义解析结果确定第一问题所属的目标领域;获取目标领域的知识图谱,确定第一语义解析结果中的实体在目标领域的知识图谱中对应的实体链接;将实体和对应的实体链接记录为会话历史信息;当获取到用户新一轮输入的第二问题时,确定第二问题对应的第二语义解析结果中是否存在待补充消解内容;当存在时,根据会话历史信息对待补充消解内容进行补充消解。通过该方案,可以提高特定领域下用户提出的问题对应的语义解析结果的补充消解的准确率,提高系统回答用户提出的问题的准确性,提升用户的使用体验。

    命名实体识别数据增强的方法、装置、电子设备和介质

    公开(公告)号:CN113516196A

    公开(公告)日:2021-10-19

    申请号:CN202110820558.4

    申请日:2021-07-20

    IPC分类号: G06K9/62 G06F40/295

    摘要: 本发明涉及命名实体识别数据增强的方法、装置、电子设备和介质,该方法包括:获取第一数据集,将第一数据集进行扩充得到扩充数据集,将扩充数据集分为第一份扩充数据集和第二份扩充数据集;将第一份扩充数据集输入到BERT模型中得到句向量数据集;对句向量数据集聚类得到聚类结果;对聚类结果对抗训练确定簇数据集;使用GPT模型微调簇数据集得到第二数据集;使用第二数据集训练GPT模型得到预测模型;将第二份扩充数据集输入到预测模型中得到预测结果数据集;将预测结果数据集中的命名实体标签通配符替换为实体词典中的文字,确定第三数据集;将第三数据集与第一数据集合并得到最终的数据集。本申请实施例采用数据增强的方式可以减小所需要的数据量。

    一种知识图谱的知识管理平台
    9.
    发明公开

    公开(公告)号:CN113190694A

    公开(公告)日:2021-07-30

    申请号:CN202110622608.8

    申请日:2021-06-03

    摘要: 本发明提供了一种知识图谱的知识管理平台,包括:schema构建模块,用于创建概念,并定义概念属性、概念属性的约束条件和概念关系;图谱构建模块,用于基于构建的schema,生成实体模式及关系模式文件的表格,完成知识图谱构建;知识管理模块,用于提供构建完成的知识图谱的可视化展示、审核及编辑功能;知识分析模块,用于实现构建完成的知识图谱中关联关系探索、自定义组合搜索和关联关系分析功能。本发明提供的技术方案,可实现自动化的图谱构建流程;通过引入版本管理,审核机制等功能,保证了知识维护的易用性及入库知识的准确性;通过关联关系探索、自定义组合搜索、关联关系分析等功能,提供给用户个性化数据分析的功能。

    命名实体识别数据增强的方法、装置、电子设备和介质

    公开(公告)号:CN113516196B

    公开(公告)日:2024-04-12

    申请号:CN202110820558.4

    申请日:2021-07-20

    摘要: 本发明涉及命名实体识别数据增强的方法、装置、电子设备和介质,该方法包括:获取第一数据集,将第一数据集进行扩充得到扩充数据集,将扩充数据集分为第一份扩充数据集和第二份扩充数据集;将第一份扩充数据集输入到BERT模型中得到句向量数据集;对句向量数据集聚类得到聚类结果;对聚类结果对抗训练确定簇数据集;使用GPT模型微调簇数据集得到第二数据集;使用第二数据集训练GPT模型得到预测模型;将第二份扩充数据集输入到预测模型中得到预测结果数据集;将预测结果数据集中的命名实体标签通配符替换为实体词典中的文字,确定第三数据集;将第三数据集与第一数据集合并得到最终的数据集。本申请实施例采用数据增强的方式可以减小所需要的数据量。