-
公开(公告)号:CN111767718B
公开(公告)日:2021-12-07
申请号:CN202010636770.0
申请日:2020-07-03
Applicant: 北京邮电大学
IPC: G06F40/253 , G06F40/129 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于弱化语法错误特征表示的中文语法错误更正方法,在用于中文语法错误更正任务的Transformer神经网络的基础上,通过编码器所提取得到字符特征表示和上下文特征表示,为待纠错文本中每一个字符学习得到一个弱化因子。弱化因子能够通过联合方程将编码器提取得到的字符特征表示和上下文特征表示联合,使得编码器所提取得到的待纠错文本的特征表示中,语法错误的特征信息得到抑制,从而弱化了语法错误特征信息对中文语法错误更正模型的负面影响,提升了基于Transformer的序列到序列神经网络模型在中文语法错误更正任务中的性能。
-
公开(公告)号:CN108984525A
公开(公告)日:2018-12-11
申请号:CN201810741530.X
申请日:2018-07-06
Applicant: 北京邮电大学
CPC classification number: G06F17/274 , G06F17/277 , G06N3/0445
Abstract: 本发明公开了一种加入文本信息的词向量的中文语法错误检测方法及装置,属于信息处理领域。该方法的特征包括:先对输入的文本的词语进行向量化,形成文本矩阵;再利用循环神经网络形成各词向量相关的文本信息;重建文本矩阵;利用循环神经网络提取上下文信息;之后利用前向神经网络计算各个词语错误性得分;使用错误性得分推断错误位置。本发明通过结合基于文本化词向量,使得中文语法检测效果得到提升,具有很大的使用价值。
-
公开(公告)号:CN111767718A
公开(公告)日:2020-10-13
申请号:CN202010636770.0
申请日:2020-07-03
Applicant: 北京邮电大学
IPC: G06F40/253 , G06F40/129 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于弱化语法错误特征表示的中文语法错误更正方法,在用于中文语法错误更正任务的Transformer神经网络的基础上,通过编码器所提取得到字符特征表示和上下文特征表示,为待纠错文本中每一个字符学习得到一个弱化因子。弱化因子能够通过联合方程将编码器提取得到的字符特征表示和上下文特征表示联合,使得编码器所提取得到的待纠错文本的特征表示中,语法错误的特征信息得到抑制,从而弱化了语法错误特征信息对中文语法错误更正模型的负面影响,提升了基于Transformer的序列到序列神经网络模型在中文语法错误更正任务中的性能。
-
公开(公告)号:CN111738007A
公开(公告)日:2020-10-02
申请号:CN202010635292.1
申请日:2020-07-03
Applicant: 北京邮电大学
IPC: G06F40/295 , G06F40/216 , G06F16/31 , G06F16/35 , G06F16/36 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种通过融合源领域和目标域中句子的语义差异和标签差异,来选择源领域数据中的正样本数据来扩展目标域的训练数据,达到增强目标域的命名实体识别性能的方法。在以往的Bi-LSTM+CRF模型的基础上,为了融合源领域和目标域中句子的语义差异和标签差异,我们通过强化学习中的状态表示和奖励设置来引入语义差异和标签差异,使得训练的决策网络可以选择源领域的数据中对于目标域的命名实体识别的性能有正向影响的句子,扩展目标域的训练数据,解决目标域训练数据不足的问题,同时提升目标域的命名实体识别性能。
-
公开(公告)号:CN110765775B
公开(公告)日:2020-08-04
申请号:CN201911059048.9
申请日:2019-11-01
Applicant: 北京邮电大学
IPC: G06F40/295 , G06F40/30 , G06N3/08 , G06N3/04
Abstract: 本发明提供了一种通过融合源领域和目标域中句子的语义差异和标签差异,来选择源领域数据中的正样本数据来扩展目标域的训练数据,达到增强目标域的命名实体识别性能的方法。在以往的Bi‑LSTM+CRF模型的基础上,为了融合源领域和目标域中句子的语义差异和标签差异,我们通过强化学习中的状态表示和奖励设置来引入语义差异和标签差异,使得训练的决策网络可以选择源领域的数据中对于目标域的命名实体识别的性能有正向影响的句子,扩展目标域的训练数据,解决目标域训练数据不足的问题,同时提升目标域的命名实体识别性能。
-
公开(公告)号:CN110196980B
公开(公告)日:2020-08-04
申请号:CN201910487638.5
申请日:2019-06-05
Applicant: 北京邮电大学
IPC: G06F40/289 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于卷积网络在中文分词任务上的领域迁移方法,在用于中文分词任务的卷积神经网络的基础上,通过在传统的用于计算不同领域分布差异的最大化平均差异Maximum Mean Discrepancy方法中,引入注意力机制attention mechanism,使得在训练神经网络的过程中,注意力机制能够获得对于领域迁移任务更具有帮助的语句信息,将最大化平均差异方法更好的引入到序列标注任务中;同时,在计算最大化平均差异的过程中,为能够正向迁移的语句添加较大的权重,而为没有帮助的语句或是反而产生负面影响的语句添加很小的权重,实现更高效的领域迁移,减少人工语料的标注,缓解自然语言处理NLP研究时由于标注语料工作带来的人工和时间的压力。
-
公开(公告)号:CN110765775A
公开(公告)日:2020-02-07
申请号:CN201911059048.9
申请日:2019-11-01
Applicant: 北京邮电大学
IPC: G06F40/295 , G06F40/30 , G06N3/08 , G06N3/04
Abstract: 本发明提供了一种通过融合源领域和目标域中句子的语义差异和标签差异,来选择源领域数据中的正样本数据来扩展目标域的训练数据,达到增强目标域的命名实体识别性能的方法。在以往的Bi-LSTM+CRF模型的基础上,为了融合源领域和目标域中句子的语义差异和标签差异,我们通过强化学习中的状态表示和奖励设置来引入语义差异和标签差异,使得训练的决策网络可以选择源领域的数据中对于目标域的命名实体识别的性能有正向影响的句子,扩展目标域的训练数据,解决目标域训练数据不足的问题,同时提升目标域的命名实体识别性能。
-
公开(公告)号:CN110196980A
公开(公告)日:2019-09-03
申请号:CN201910487638.5
申请日:2019-06-05
Applicant: 北京邮电大学
Abstract: 本发明提供了一种基于卷积网络在中文分词任务上的领域迁移方法,在用于中文分词任务的卷积神经网络的基础上,通过在传统的用于计算不同领域分布差异的最大化平均差异Maximum Mean Discrepancy方法中,引入注意力机制attention mechanism,使得在训练神经网络的过程中,注意力机制能够获得对于领域迁移任务更具有帮助的语句信息,将最大化平均差异方法更好的引入到序列标注任务中;同时,在计算最大化平均差异的过程中,为能够正向迁移的语句添加较大的权重,而为没有帮助的语句或是反而产生负面影响的语句添加很小的权重,实现更高效的领域迁移,减少人工语料的标注,缓解自然语言处理NLP研究时由于标注语料工作带来的人工和时间的压力。
-
公开(公告)号:CN108959260B
公开(公告)日:2019-05-28
申请号:CN201810735068.2
申请日:2018-07-06
Applicant: 北京邮电大学
Abstract: 本发明公开了一种中文语法错误检测方法及装置,属于信息处理领域。该方法的特征包括:先对输入的文本词语向量化,连接形成文本矩阵;再利用循环神经网络形成关于词向量中各分量重要程度的掩码;重建文本矩阵;利用循环神经网络提取上下文信息;利用前向神经网络计算各个词语错误性得分;使用错误性得分推断错误位置。本发明通过结合基于文本化词向量,使得中文语法检测效果得到提升,具有很大的使用价值。
-
公开(公告)号:CN108959260A
公开(公告)日:2018-12-07
申请号:CN201810735068.2
申请日:2018-07-06
Applicant: 北京邮电大学
CPC classification number: G06F17/271 , G06N3/0445 , G06N3/0454 , G06N3/084
Abstract: 本发明公开了一种中文语法错误检测方法及装置,属于信息处理领域。该方法的特征包括:先对输入的文本词语向量化,连接形成文本矩阵;再利用循环神经网络形成关于词向量中各分量重要程度的掩码;重建文本矩阵;利用循环神经网络提取上下文信息;利用前向神经网络计算各个词语错误性得分;使用错误性得分推断错误位置。本发明通过结合基于文本化词向量,使得中文语法检测效果得到提升,具有很大的使用价值。
-
-
-
-
-
-
-
-
-