基于分层知识图谱注意力模型的文本关系抽取方法及系统

    公开(公告)号:CN109902171B

    公开(公告)日:2020-12-25

    申请号:CN201910090408.5

    申请日:2019-01-30

    IPC分类号: G06F16/35 G06F16/36

    摘要: 本发明提供了一种基于分层知识图谱注意力模型的文本关系抽取方法及系统,其方法包括:首先根据待处理文本选取训练文本集和知识图谱,并对训练文本集和知识图谱分别进行预处理;然后构建分层知识图谱注意力模型,并利用预处理后的训练文本及对该模型进行训练;最后将所述待处理文本中所有句子的头实体和尾实体进行标注,并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型,得到关系结果。本发明的有益效果是:本发明所提出的技术方案提出一种分层知识图谱注意力模型,利用知识图谱表示帮助模型分配句子和词的权重,提高了模型的关系预测的准确率和召回率,进而提高了文本关系的抽取准确度。

    基于长短时记忆神经网络的人体活动类型分类方法及系统

    公开(公告)号:CN109948665B

    公开(公告)日:2020-11-27

    申请号:CN201910152363.X

    申请日:2019-02-28

    IPC分类号: G06K9/62 G06N3/04 G06N3/08

    摘要: 本发明公开了一种本发明提出了一种基于长短时记忆神经网络的人体活动类型分类方法及系统。针对以往的点评网站只考虑点评的具体内容和事物,而忽略了不同评论背后的人群所处的活动类型的问题,本发明提出了一种word2vec模型与TF‑IDF相结合的方法,来推断和识别点评网站上发出不同评论的人当前所处的活动类型和状态。利用评网站构建点评数据集,包括点评内容和活动类型的标签,用Word2Vec模型得到上述点评内容的词向量表示;其次,用TF‑IDF计算每个活动分类的关键词,构建关键词词典;接着,通过统计每条评论中的单词在词典中是否出现,构建权重矩阵;最后将点评内容的词向量与权重矩阵进行拼接,然后输入到长短时记忆神经网络中进行训练,从而得到人体活动分类模块。

    基于依赖解析和关键词的图卷积网络的关系抽取方法

    公开(公告)号:CN111241294A

    公开(公告)日:2020-06-05

    申请号:CN201911424470.X

    申请日:2019-12-31

    IPC分类号: G06F16/36 G06N3/04 G06N3/08

    摘要: 本发明提供一种基于依赖解析和关键词的图卷积网络的关系抽取方法,首先对结构化文本进行句子依赖解析生成依赖解析图,并通过关键词对句子进行修剪;利用word2vec获取句子的词嵌入向量和位置嵌入向量,拼接后得到词向量序列;对所述词向量序列进行双向GRU神经网络,得到输出向量矩阵;采用图卷积网络处理所述输出向量矩阵,得到句子的依赖表示;将所述输出向量矩阵以及句子的依赖表示通过多头注意力机制进行结合得到句子的表示向量;采用softmax函数建立关系以及实体类型的预测模型,并将所述句子的表示向量作为预测模型的输入,由此训练得到预测概率最大的关系作为抽取结果。

    一种基于双层attention机制的词嵌入方法、设备及存储设备

    公开(公告)号:CN110147446A

    公开(公告)日:2019-08-20

    申请号:CN201910318341.6

    申请日:2019-04-19

    IPC分类号: G06F16/35 G06F16/36 G06F17/27

    摘要: 本发明提供了一种基于双层attention机制的词嵌入方法、设备及存储设备,其方法包括:首先通过attention获取词汇内部不同语义对应的不同义原的权重;再对词汇内部不同语义对应的不同义原进行加权和计算得到词汇内部不同语义的向量表示;然后通过attention获取词汇内部不同语义的权重;最后对词汇内部的不同语义进行加权和计算得到词向量表示。一种基于双层attention机制的词嵌入设备及存储设备,用于实现一种基于双层attention机制的词嵌入方法。本发明的有益效果是:本发明所提出的技术方案创新性地引入attention机制来捕捉词汇内部的语义权重以及语义内部的义原权重,可以更加深入和准确的描述词汇内部的语义随上下文的变化,从而能够更好的对词汇在上下文中的语义进行表达。

    一种考虑主题的机器阅读理解模型生成方法与系统

    公开(公告)号:CN110096698A

    公开(公告)日:2019-08-06

    申请号:CN201910211906.0

    申请日:2019-03-20

    IPC分类号: G06F17/27 G06F16/35 G06N3/04

    摘要: 本发明公开了一种考虑主题的机器阅读理解模型生成方法与系统,本发明提取出了训练样本数据中潜在的主题信息,利用这种主题信息对阅读理解模型的训练做监督,从而提高阅读理解模型的效果。本发明公开的模型考虑在模型训练之前提取出与训练样本对应的多个主题,并利用样本的主题信息来提高机器阅读理解工作的效果。本方法的基本流程为:对每个训练样本做处理,找出能代表这个样本的向量表示;对样本做聚类并求出同类样本向量的均值作为主题的向量表示;在匹配和输出时利用注意力机制给向量表示与本样本主题向量相似度更高的词更大的权重。此外,训练数据经过较好的数据清洗后能得到更好的效果,因为降低噪声后我们能得到更好的主题向量表示。

    一种基于胶囊网络的图像生成方法及系统

    公开(公告)号:CN109871888A

    公开(公告)日:2019-06-11

    申请号:CN201910090399.X

    申请日:2019-01-30

    IPC分类号: G06K9/62 G06N3/04

    摘要: 本发明提供了一种基于胶囊网络的图像生成方法及系统:其方法包括:首先根据待生成图像的属性特征构造训练数据;然后构造图像生成模型;进而根据训练数据,采用批训练方法,对构造的图像生成模型进行训练,得到训练后的图像生成模型,并构造一个随机噪声向量;最后将待生成图像的属性向量和随机噪声向量作为训练后的图像生成模型的输入,生成与训练数据中的图像尺寸一样的新图像。本发明的有益效果是:本发明所提出的技术方案将图像生成模型中加入胶囊网络作为编码器网络,有助于模型的训练过程更快收敛;另一方面,相比卷积神经网络的池化过程,胶囊网络的动态路由算法对特征的泛化鲁棒性更强,能生成更多样化并且真实的图像。

    一种基于结构信息与文本描述的知识图谱表示学习方法

    公开(公告)号:CN109299284A

    公开(公告)日:2019-02-01

    申请号:CN201811011812.0

    申请日:2018-08-31

    IPC分类号: G06F16/36

    摘要: 本发明一种基于结构信息与文本描述的知识图谱表示学习方法的目的是将三元组中的实体和关系映射到低维连续的实值空间中。本发明旨在提高知识表示中实体的向量表示;从现有知识库Freebase中得到实体的对应文本描述信息,采用word2vec对每个描述进行词向量表示,然后用词加和均值向量作为该描述的向量表示,还采用doc2vec的句向量生成方式对描述进行向量表示,然后将词向量作为CNN文本编码器的输入,得到每个实体的基于描述文本的表示向量;然后在联合表示中利用权值来评估知识库中基于符号的表示向量、基于网络结构的表示向量和基于描述文本的表示向量对实体的最终表示向量的影响,完成结构信息和文本信息的融合,提高知识图谱表示的准确性。

    一种面向案情的关键词提取方法及系统

    公开(公告)号:CN109145293A

    公开(公告)日:2019-01-04

    申请号:CN201810883678.7

    申请日:2018-08-06

    IPC分类号: G06F17/27

    摘要: 本发明涉及一种面向案情的关键词提取方法,首先根据用于训练模型的案情描述获取用于训练模型的案情描述的词向量矩阵和词法特征矩阵;然后采用python库中的keras包,将用于训练模型的案情描述的词向量矩阵放入到一个keras的模型中去,用于训练模型的案情描述的词法特征矩阵也放入到一个keras中的模型中去,然后将两个模型利用keras中的merge功能,将两个模型合并为一个模型,然后将这个模型运用keras中的fit功能来训练模型;最后将待预测关键词的案情描述输入到模型中,进行关键词的提取,提取所需的关键词。利用本发明的这种方法可以大大提高关键词提取的准确性,并减少断案工作量。

    一种面向案情的关键词提取方法及系统

    公开(公告)号:CN109145293B

    公开(公告)日:2021-05-28

    申请号:CN201810883678.7

    申请日:2018-08-06

    摘要: 本发明涉及一种面向案情的关键词提取方法,首先根据用于训练模型的案情描述获取用于训练模型的案情描述的词向量矩阵和词法特征矩阵;然后采用python库中的keras包,将用于训练模型的案情描述的词向量矩阵放入到一个keras的模型中去,用于训练模型的案情描述的词法特征矩阵也放入到一个keras中的模型中去,然后将两个模型利用keras中的merge功能,将两个模型合并为一个模型,然后将这个模型运用keras中的fit功能来训练模型;最后将待预测关键词的案情描述输入到模型中,进行关键词的提取,提取所需的关键词。利用本发明的这种方法可以大大提高关键词提取的准确性,并减少断案工作量。

    一种基于张量的知识图谱表示学习方法及系统

    公开(公告)号:CN109947948A

    公开(公告)日:2019-06-28

    申请号:CN201910148591.X

    申请日:2019-02-28

    IPC分类号: G06F16/36 G06F17/27

    摘要: 本发明公开了一种基于张量的知识图谱表示学习方法及系统,本发明针对现有的知识图谱表示学习方法只考虑三元组本身信息、实体文本描述信息、实体图片信息、实体层次结构信息,而忽略了图谱的局部网络结构信息导致知识表示学习效果不佳的问题,本发明在知识图谱的表示学习中,考虑了每个实体的局部网络结构信息。首先,根据知识图谱的数据集,生成每个实体的掩码矩阵;其次,训练张量R,表示整个数据集的语义信息,每个实体可以通过掩码矩阵和R作用,得到每个实体的语义张量表达;然后,训练向量r,表示将每个实体语义张量映射至特定语义空间中的映射向量;最后在特定的语义空间进行训练,提高知识图谱表示学习的准确性。