基于Seq2seq模型的摘要生成方法
摘要:
本发明涉及一种基于Seq2seq模型的摘要生成方法,属于自然语言生成领域。该方法首先将待生成摘要的文本转化为词向量序列;然后将词向量序列输入经训练的Seq2seq模型得到的输出作为摘要。进一步的,对Seq2seq模型中的Encoder编码模型进行了改进,重新定义了LSTM隐层单个细胞节点的输入门和遗忘门结构;对Encoder训练过程中用到的损失函数进行了优化,将训练数据分为子系统,根据不同子系统属性的不同选取适合于子系统特性的损失函数,并根据条件信息熵来计算不同子系统所含信息量的多少,将条件信息熵作为子系统损失函数的权重得到系统的损失函数。对比现有技术,本发明首次将翻译模型Seq2seq用于摘要生成,并根据摘要特点,对Seq2seq进行改进,提高了其在摘要生成时的训练速度和精度。
公开/授权文献
0/0