一种面向句子级别的关系抽取方法、设备及存储介质

    公开(公告)号:CN114692637A

    公开(公告)日:2022-07-01

    申请号:CN202210288286.2

    申请日:2022-03-23

    Inventor: 范垂钦 王家兵

    Abstract: 本发明公开了一种面向句子级别的关系抽取方法、设备及存储介质,包括获得一个句子,在每个实体的两端分别插入特殊标记,输入预训练语言模型得到该句子每个词的词向量;使用随机初始化的多个关系向量分别对每个词向量计算相关度,进一步计算二分类损失;使用平均池化计算句子向量、实体向量,使用最大池化计算关系向量,将这些特殊输入多分类器得到多分类损失;将句子中的实体一定概率掩藏得到另外一个句子,衡量两个句子输出分布的一致性损失;对上述步骤中的所有损失联合训练。本发明能够有效抽取文本中的关键信息,捕捉文本中实体的联系,从而达到良好的关系抽取性能。

    一种联合深度神经网络和成对约束的聚类方法

    公开(公告)号:CN109635946A

    公开(公告)日:2019-04-16

    申请号:CN201811442502.4

    申请日:2018-11-29

    Inventor: 李卓聪 王家兵

    CPC classification number: G06N3/08 G06K9/6218

    Abstract: 本发明公开了一种联合深度神经网络和成对约束的聚类方法,包括下述步骤:给定包括成对约束的数据集;构建两个相同结构的自编码器网络和一个深度神经网络,两个自编码器网络分别输入数据集中的每一个约束对的两个样本,两个自编码器网络的中间输出的差向量,作为深度神经网络的输入;然后训练自编码器网络和深度神经网络;将两个训练过的自编码网络和深度神经网络结合到聚类算法上,使用聚类算法进行聚类任务。本发明联合深度神经网络和数据间的成对约束,通过自编码网络对输入数据进行降维操作和深度神经网络学习特征,同时重构网络模型的损失函数,有效提高了聚类算法的聚类精度。

    一个基于深度神经网络及强化学习的生成式机器阅读理解方法

    公开(公告)号:CN108415977A

    公开(公告)日:2018-08-17

    申请号:CN201810131702.1

    申请日:2018-02-09

    Inventor: 朱国轩 王家兵

    Abstract: 本发明公开了一个基于深度神经网络及强化学习的生成式机器阅读理解方法,该方法通过结合注意力机制的深层神经网络来对文本和问题进行编码,形成融合了问题信息的文本向量表示之后,再通过单向LSTM解码器进行解码,逐步生成对应的答案文本。本发明公开的阅读理解方法融合了抽取式模型和生成式模型的优点,采用多任务联合优化的方式进行训练,训练过程中同时还使用了强化学习方法,有利于生成更加准确而流畅的答案文本。

    一种基于加权三角密度的稠密子图抽取方法

    公开(公告)号:CN111339374A

    公开(公告)日:2020-06-26

    申请号:CN202010114785.0

    申请日:2020-02-25

    Inventor: 王荣杰 王家兵

    Abstract: 本发明公开了一种基于加权三角密度的稠密子图抽取方法,包括步骤:S1、给定一个图数据,建立起图网络;S2、用三角形抽取算法将图网络中的三角形集合抽取出来;S3、根据应用场景对每个三角形进行合适的赋权,定义密度函数;S4、利用赋权好的三角形集合,建立起流网络;S5、利用二分法搜索合适的流网络参数;S6、计算流网络的S集和输入顶点集合交集,得到稠密子图。本发明能够从稀疏的图中,根据图的结构信息抽取出边密度高的子图,并且可以结合节点本身的信息,使得抽取出的子图不仅密度大并且符合应用场景要求,能够应用在蛋白质作用分析等图挖掘应用中。

    基于预训练语言模型的知识图谱补全方法

    公开(公告)号:CN117891957B

    公开(公告)日:2024-05-07

    申请号:CN202410289201.1

    申请日:2024-03-14

    Abstract: 本发明公开了一种基于预训练语言模型的知识图谱补全方法,通过对现有知识图谱进行文件格式处理以及建立实体、关系的编号与名称的映射与格式化,获得适用于模型的知识三元组数据,然后使用预训练语言模型提取三元组中实体与关系的嵌入,进行训练学习。本发明设计了基于相对变换的对抗学习方法以及实体细粒度表示方法,能够显著提高模型的学习效率,进而提高知识图谱补全的效果。

    基于预训练语言模型的知识图谱补全方法

    公开(公告)号:CN117891957A

    公开(公告)日:2024-04-16

    申请号:CN202410289201.1

    申请日:2024-03-14

    Abstract: 本发明公开了一种基于预训练语言模型的知识图谱补全方法,通过对现有知识图谱进行文件格式处理以及建立实体、关系的编号与名称的映射与格式化,获得适用于模型的知识三元组数据,然后使用预训练语言模型提取三元组中实体与关系的嵌入,进行训练学习。本发明设计了基于相对变换的对抗学习方法以及实体细粒度表示方法,能够显著提高模型的学习效率,进而提高知识图谱补全的效果。

    基于最优传输理论的实体关系抽取方法、设备及存储介质

    公开(公告)号:CN116384492A

    公开(公告)日:2023-07-04

    申请号:CN202310159922.6

    申请日:2023-02-23

    Inventor: 罗文韬 王家兵

    Abstract: 本发明公开了一种基于最优传输理论的实体关系抽取方法,包括以下步骤:S1.构建实体关系的定义集,将实体关系的类别定义语句输入BERT模型,利用定义集对BERT模型进行训练,更新BERT模型参数;S2.获取训练集,将训练语句输入BERT模型,利用训练集对BERT模型进行训练,计算训练语句与对应实体关系的类别定义语句之间的最优传输距离,利用最优传输距离更新BERT模型参数,直至训练完成;S3.将待预测语句输入训练好的BERT模型,利用BERT模型对待预测语句的实体关系进行预测,BERT模型输出待预测语句的实体关系。BERT模型学习实体关系类别的具体定义,通过计算语句与对应实体关系的类别定义语句之间的最优传输距离,从而实现对每一类别定义的语义利用,提高实体关系抽取的准确度。

    一个基于深度神经网络及强化学习的生成式机器阅读理解方法

    公开(公告)号:CN108415977B

    公开(公告)日:2022-02-15

    申请号:CN201810131702.1

    申请日:2018-02-09

    Inventor: 朱国轩 王家兵

    Abstract: 本发明公开了一个基于深度神经网络及强化学习的生成式机器阅读理解方法,该方法通过结合注意力机制的深层神经网络来对文本和问题进行编码,形成融合了问题信息的文本向量表示之后,再通过单向LSTM解码器进行解码,逐步生成对应的答案文本。本发明公开的阅读理解方法融合了抽取式模型和生成式模型的优点,采用多任务联合优化的方式进行训练,训练过程中同时还使用了强化学习方法,有利于生成更加准确而流畅的答案文本。

Patent Agency Ranking