一种基于BERTSUM模型的文本摘要提取方法
摘要:
本发明属于文本摘要提取技术领域,尤其为一种基于BERTSUM模型的文本摘要提取方法先对需要提取摘要的文本进行预处理,然后将预处理后的数据输入改进的BERT模型进行处理,判断出应该出现在摘要中的句子,BERT模型的改进过程中,在BERT模型原本的损失函数中增加一个余弦相似度损失,避免了数据处理中过度拟合,使得获得的摘要更加准确;另外,通过加入余弦相似性约束,使得BERT模型在训练早期,获得的结果的损失能够更快的下降,提高数据处理的速度;BERT模型的改进方面还包括加入融合指针网络的UniLM模型,通过融合指针网络的UniLM模型对文本下游生成任务进行微调,提前获取文本中的关键信息词,提高文本摘要的获得速度。
公开/授权文献
0/0