公开(公告)号：CN115048508A

公开(公告)日：2022-09-13

申请号：CN202210751146.4

申请日：2022-06-28

Applicant: OPPO广东移动通信有限公司

Inventor： 何孝松 ,  周峰

IPC: G06F16/34 ,  G06K9/62

Abstract: 本申请实施例公开了一种模型训练方法、文本处理方法、装置及电子设备。模型训练方法包括：获取初始文本数据集，其中，初始文本数据集中包括多篇文章；对多篇文章中的各篇文章进行摘要抽取，获得各篇文章对应的目标摘要；基于各篇文章对应的目标摘要，分别对各篇文章去重，获得各篇文章对应的目标文本；基于各篇文章对应的目标摘要以及各篇文章对应的目标文本，获得目标文本数据集；基于目标文本数据集训练预设模型，获得已训练的文本摘要模型。本申请通过上述方式，可以基于海量的文本数据训练预设模型，获得已训练的文本摘要模型，提高了获取文本摘要的模型通用性。

公开(公告)号：CN116910549A

公开(公告)日：2023-10-20

申请号：CN202310879760.3

申请日：2023-07-17

Applicant: OPPO广东移动通信有限公司

Inventor： 何孝松

IPC: G06F18/214 ,  G06F40/126 ,  G06F40/205

Abstract: 本申请公开了一种模型训练方法、装置、计算机设备及存储介质，涉及人工智能技术领域。该方法包括：获取文本数据集，所述文本数据集中包括多条第一文本数据；针对每条所述第一文本数据中的文本内容，按照多种目标掩蔽比例进行掩蔽处理，得到每条所述第一文本数据对应的多个第一训练文本，作为第一训练样本集；利用所述第一训练样本集，对初始语言模型进行预训练，直至满足第一训练条件，得到预训练模型。如此，针对任一条第一文本数据可以生成长度不同的多个第一训练文本，从而丰富了训练样本集，解决了预训练过程中的语料不足的问题，从而提高模型预训练的效果。