专利检索 ap:("北京达佳互联信息技术有限公司") AND inv:"高超尘" 第 1 页

1.

发明公开
文本生成模型的训练方法、装置、电子设备及存储介质审中-实审

公开(公告)号：CN116011445A

公开(公告)日：2023-04-25

申请号：CN202310012566.5

申请日：2023-01-05

申请人： 北京达佳互联信息技术有限公司

发明人： 伍星 , 高超尘 , 林梓佳

IPC分类号： G06F40/284 , G06F18/214 , G06N3/0455 , G06N3/04 , G06N3/084

摘要： 本公开关于一种文本生成模型的训练方法、装置、电子设备及存储介质，该方法包括：对文本样本中连续的至少两个词进行掩码操作，得到包括掩码片段的掩码文本；根据文本样本和掩码文本，对自然语言理解模型进行训练；将掩码文本输入训练完成的自然语言理解模型，得到针对掩码片段的第一输出结果，并将掩码文本输入文本生成模型，得到针对掩码片段的第二输出结果；根据第二输出结果和第一输出结果，确定文本生成模型的第一损失函数值，根据第二输出结果和文本样本，确定文本生成模型的第二损失函数值；根据第一损失函数值和第二损失函数值，对文本生成模型的网络参数进行调整，获得预训练完成的文本生成模型。本公开可以提高文本生成结果的准确性。