一种联合文本分类的多任务命名实体识别方法
摘要:
本发明公开了一种联合文本分类的多任务命名实体识别方法。该方法包括如下步骤:(1)利用卷积神经网络构造文本分类器,度量文本的相似度;(2)选取合适的阈值,对于辅助任务的数据集,根据文本分类结果与阈值的比较来决定其是否参与共享层参数的更新;(3)将文本的字符向量与预训练好的词向量级联作为输入特征向量;(4)在共享层,利用双向LSTM对句子中每个单词的输入特征向量进行建模,学习各任务的公共特征;(5)在任务层依次训练每个任务,将共享层的输出传入主任务私有层或辅助任务私有层中的双向LSTM神经网络,再利用线性链条件随机场来对整个句子进行标签解码,并标注句子中的实体。本发明在多个生物医学领域的数据集上进行实验,可以有效提升语料难获取、标注成本高的特定领域的命名实体识别效果。
公开/授权文献
0/0