基于BERT融合注意力机制的烟叶分级文本命名实体识别方法
摘要:
本发明提出了一种基于BERT融合注意力机制的烟叶分级文本命名实体识别方法,该方法主要包括了以下内容:对烟叶分级数据进行预处理,得到烟叶分级训练数据,将烟叶分级数据进行标注并按照一定比例划分为训练集、测试集和验证集;基于烟叶分级的数据集提出具体模型:BERT‑BiGRU‑IDCNN‑Attention‑CRF模型,通过将分级数据输入BERT生成嵌入词向量,再将嵌入词向量传入BiGRU层和IDCNN层进行训练学习,同时引入注意力机制,强化实体识别对分级文本起作用的关键特征,弱化其他无关特征,强化该模型在烟叶分级命名实体识别的效果,最后将前面层输出的结果传入CRF层进行维特比解码输出。本发明通过BERT预训练模型在自然语言处理方面的强大效果,同时利用BiGRU与IDCNN融合特征向量,并且引入注意力机制,有效的弥补了BiGRU忽略局部特征的缺陷,使得在对烟叶分级文本进行命名实体识别时效果更好。
0/0