公开(公告)号：CN110222349A

公开(公告)日：2019-09-10

申请号：CN201910511211.4

申请日：2019-06-13

Applicant: 成都信息工程大学

Inventor： 熊熙 ,  袁宵 ,  琚生根 ,  李元媛 ,  孙界平

IPC: G06F17/28

Abstract: 本发明属于计算机词语表示技术领域，公开了一种深度动态上下文词语表示的模型及方法，所述深度动态上下文词语表示的模型为带层注意力机制的多层双向Transformer编码器堆叠成的遮蔽语言模型；是多层神经网络，网络每一层从不同的角度捕获输入语句中每个单词的上下文信息；然后通过一个层注意力机制给予网络每一层不同的权重；最终根据权重把不同的词语表示综合起来形成词语的上下文表示。使用该模型生成的词语表示在公开数据集上进行了逻辑推理(MultiNLI)、命名实体识别(CoNLL2003)和阅读理解任务(SQuAD)三项任务，比现有模型分别提升了2.0％、0.47％和2.96％。

公开(公告)号：CN110222349B

公开(公告)日：2020-05-19

申请号：CN201910511211.4

申请日：2019-06-13

Applicant: 成都信息工程大学

Inventor： 熊熙 ,  袁宵 ,  琚生根 ,  李元媛 ,  孙界平

IPC: G06F40/42 ,  G06F40/58

Abstract: 本发明属于计算机词语表示技术领域，公开了一种深度动态上下文词语表示的模型及方法，所述深度动态上下文词语表示的模型为带层注意力机制的多层双向Transformer编码器堆叠成的遮蔽语言模型；是多层神经网络，网络每一层从不同的角度捕获输入语句中每个单词的上下文信息；然后通过一个层注意力机制给予网络每一层不同的权重；最终根据权重把不同的词语表示综合起来形成词语的上下文表示。使用该模型生成的词语表示在公开数据集上进行了逻辑推理(MultiNLI)、命名实体识别(CoNLL2003)和阅读理解任务(SQuAD)三项任务，比现有模型分别提升了2.0％、0.47％和2.96％。