公开(公告)号：CN116151265A

公开(公告)日：2023-05-23

申请号：CN202211249950.9

申请日：2022-10-12

申请人： 马上消费金融股份有限公司

发明人： 吕乐宾 ,  蒋宁 ,  肖冰 ,  李宽 ,  丁隆耀

IPC分类号： G06F40/30 ,  G06F40/216 ,  G06N3/04 ,  G06N3/0895

摘要： 本申请实施例公开了一种语言模型训练方法、数据处理方法及装置。语言模型训练方法包括：获取样本语义数据，包括多个样本语句组成的样本文本、每个样本语句中的各字符在对应样本语句中的第一字符位置信息、以及每个样本语句在样本文本中的第一语句位置信息；将样本语义数据输入待训练的语言模型，对多个样本语句进行乱序处理，得到多个乱序语句组成的乱序文本、每个乱序语句中的各字符在对应乱序语句中的第二字符位置信息，以及每个乱序语句在乱序文本中的第二语句位置信息；对多个乱序语句进行还原处理，得到还原语义数据；基于样本语义数据和还原语义数据进行模型训练。该技术方案能够提升语言模型的模型性能。

公开(公告)号：CN116151233A

公开(公告)日：2023-05-23

申请号：CN202211096247.9

申请日：2022-09-08

申请人： 马上消费金融股份有限公司

发明人： 丁隆耀 ,  蒋宁 ,  肖冰 ,  李宽 ,  吕乐宾

IPC分类号： G06F40/279 ,  G06F40/216 ,  G06F40/30 ,  G06N3/04

摘要： 本说明书实施方式提供了一种数据标注方法、生成方法、模型训练方法、设备和介质。所述方法可以包括：获取待标注样本，所述待标注样本包括至少一个文本，所述文本包含至少一个事件，其中，每个文本包括至少一个文本语句；识别每个文本中的文本语句得到识别结果，若识别结果包括待标注信息，则根据所述待标注信息对对应的文本语句进行标注，所述待标注信息包括信息类型以及论元，所述信息类型为文本语句针对事件表达的观点类型，所述论元包括所述观点对应的目标事件和/或所述观点涉及的文本的实体信息。实现提升针对事件相关文本的内容提取的全面性。

公开(公告)号：CN116150312A

公开(公告)日：2023-05-23

申请号：CN202211016936.4

申请日：2022-08-24

申请人： 马上消费金融股份有限公司

发明人： 吕乐宾 ,  蒋宁 ,  肖冰 ,  李宽 ,  丁隆耀

IPC分类号： G06F16/33 ,  G06F16/35 ,  G06F18/214 ,  G06F18/241

摘要： 本公开关于一种文本情感分类方法、模型的训练方法和应答方法。该情感预测方法包括：获取待处理文本；基于待处理文本中的情感词，得到第一文本，其中，第一文本中包括待处理文本中的情感词以及情感词对应的标注情感类别；将待处理文本和第一文本输入到情感分类模型，得到待处理文本的情感分类结果，情感分类结果用于表征待处理文本的情感倾向。

公开(公告)号：CN114817501A

公开(公告)日：2022-07-29

申请号：CN202210452946.6

申请日：2022-04-27

申请人： 马上消费金融股份有限公司

发明人： 丁隆耀 ,  王洪斌 ,  权佳成 ,  李宽

IPC分类号： G06F16/332 ,  G06F40/30 ,  G06K9/62

摘要： 本发明提供一种数据处理方法、数据处理装置及电子设备。方法包括：获取目标交互场景对应的微调训练样本集，微调训练样本集包括微调训练样本和微调训练样本对应的意图标签。通过意图识别模型中第一模块对所述微调训练样本进行语义编码，通过意图识别模型中的第二模块对语义编码结果进行意图预测，得到微调训练样本对应的意图预测结果，第一模块是基于目标交互场景的关联场景中历史对话数据对和单头注意力机制进行无监督预训练得到的。基于微调训练样本的意图标签和微调训练样本的意图预测结果对第二模块进行微调训练。本发明能够快速完成用于意图识别模型的训练，并减小对于标注样本的依赖，特别适用于冷启动和小样本支持的应用场景。

公开(公告)号：CN117951513A

公开(公告)日：2024-04-30

申请号：CN202311007412.3

申请日：2023-08-10

申请人： 马上消费金融股份有限公司

发明人： 吕乐宾 ,  陆全 ,  蒋宁 ,  夏粉 ,  肖冰 ,  李宽 ,  丁隆耀

IPC分类号： G06F18/214 ,  G06F40/295 ,  G06F16/35 ,  G06N3/045 ,  G06N3/09

摘要： 本说明书实施例提供了实体识别模型训练方法、实体识别方法及相关装置，其中，一种实体识别模型训练方法包括：根据目标抽取任务生成实体抽取的提示信息，并基于提示信息对训练文本进行实体抽取，得到实体样本集；对训练文本进行片段排列，根据排列结果和实体样本集确定非实体样本集；通过实体样本集和非实体样本集对实体识别模型进行训练。采用本申请实施例能够提升训练得到的实体识别模型的识别准确性。

公开(公告)号：CN117807987A

公开(公告)日：2024-04-02

申请号：CN202211178539.7

申请日：2022-09-26

申请人： 马上消费金融股份有限公司

发明人： 丁隆耀 ,  蒋宁 ,  吴海英 ,  李宽 ,  吕乐宾

IPC分类号： G06F40/216 ,  G06F40/30 ,  G06F16/332 ,  G06F16/33

摘要： 本说明书实施例提供了样本生成方法、装置、电子设备及存储介质，样本生成方法包括：获取待处理的日志数据；日志数据包括文本和文本的意图识别结果；根据文本的意图识别结果，对日志数据进行数据筛选处理，得到低频意图数据；将低频意图数据、预设意图类别的标准文本输入文本对比模型进行相似度预测处理，得到低频意图数据对应的文本对比结果；文本对比模型为基于训练样本集对初始文本对比模型进行训练所得到的模型；训练样本集基于所述低频意图数据构建；根据文本对比结果与预设相似度阈值，生成低频意图样本。以此，扩增了低频意图样本的数量。

公开(公告)号：CN116227467A

公开(公告)日：2023-06-06

申请号：CN202211102466.3

申请日：2022-09-09

申请人： 马上消费金融股份有限公司

发明人： 吕乐宾 ,  蒋宁 ,  肖冰 ,  李宽 ,  丁隆耀

IPC分类号： G06F40/216 ,  G06F40/284 ,  G06F40/126 ,  G06N3/0895

摘要： 本申请公开了一种模型的训练方法、文本处理方法及装置，模型的训练方法包括预训练语言模型的训练方法和文本处理模型的训练方法。预训练语言模型的训练方法包括：基于第一样本文本包含的词语在第一样本文本所属第一样本集中的词频，确定第一样本文本中的多个待掩码词语；至少基于多个待掩码词语确定第一样本文本对应的多个备选词语；对多个待掩码词语进行掩码处理得到掩码文本；通过预训练语言模型，基于掩码文本以及多个备选词语，得到每个待掩码词语所在位置对应的预测词语；基于每个第一样本文本包含的多个待掩码词语及每个待掩码词语所在位置对应的预测词语，调整预训练语言模型的模型参数。本申请有利于提高预训练语言模型的训练效果。

公开(公告)号：CN116127987A

公开(公告)日：2023-05-16

申请号：CN202211550765.3

申请日：2022-12-05

申请人： 马上消费金融股份有限公司

发明人： 丁隆耀 ,  蒋宁 ,  夏粉 ,  肖冰 ,  李宽 ,  吕乐宾

IPC分类号： G06F40/35 ,  G06F16/35 ,  G06F18/214 ,  G06N20/00 ,  G06F40/194

摘要： 本申请公开了一种模型训练方法、意图识别方法及相关装置，所述方法包括：获取目标样本数据集和意图识别模型，目标样本数据集用于对意图识别模型进行预训练；为意图识别模型添加随机噪声，并基于目标样本数据集对添加随机噪声后的意图识别模型进行迭代训练；在对添加随机噪声后的意图识别模型进行迭代训练过程中，在确定当前迭代满足加噪条件的情况下，获取当前迭代对应的目标强度的噪声，并为当前迭代对应的意图识别模型添加目标强度的噪声并继续迭代训练；在确定存在迭代训练结束条件的情况下，获取训练完成的意图识别模型，训练完成的意图识别模型用于识别输入的文本数据的意图类型，可以提升意图识别模型的鲁棒性或稳定性。

公开(公告)号：CN116127983A

公开(公告)日：2023-05-16

申请号：CN202211615139.8

申请日：2022-12-14

申请人： 马上消费金融股份有限公司

发明人： 吕乐宾 ,  蒋宁 ,  夏粉 ,  肖冰 ,  李宽 ,  丁隆耀

IPC分类号： G06F40/30

摘要： 本申请提供了一种文本编码方法、装置、电子设备及存储介质，该文本编码方法包括：将长文本划分成多个短文本；对多个短文本分别进行编码，得到多个编码信息；针对多个短文本中的第N个短文本，结合第N个短文本对应的第N个编码信息以及第N‑1个短文本对应的综合编码信息，得到第N个短文本对应的综合编码信息，其中，第一个短文本对应的综合编码信息为第一个短文本对应的编码信息；将多个短文本对应的综合编码信息分别输入主题提取模型，得到多个短文本对应的多个主题信息；融合多个短文本中最后一个短文本对应的综合编码信息以及多个主题信息，得到长文本对应的编码信息。本申请的技术方案能够提高长文本对应的编码信息的精确度。

公开(公告)号：CN117951364A

公开(公告)日：2024-04-30

申请号：CN202310978138.8

申请日：2023-08-04

申请人： 马上消费金融股份有限公司

发明人： 丁隆耀 ,  蒋宁 ,  陆全 ,  肖冰 ,  李宽 ,  吕乐宾

IPC分类号： G06F16/9535 ,  G06N3/08

摘要： 本申请实施例提供了一种信息推荐模型的训练、信息推荐方法及相关设备，先获取目标用户的多个历史推荐文本样本的特征向量；并基于历史推荐文本样本的特征向量和目标用户的用户偏好向量，生成模型训练输入向量；再基于模型训练输入向量，对待训练的信息推荐模型进行迭代训练，得到目标用户的训练后的信息推荐模型；以目标用户作为独立的分析对象，基于目标用户对应的模型训练输入向量进行模型迭代训练，得到目标用户的信息推荐模型，并且模型训练输入向量与目标用户的历史推荐文本样本的特征向量和用户偏好向量有关，这样基于目标用户的信息推荐模型进行信息推荐，能够提高信息推荐的准确度。