模型处理方法、装置、电子设备及可读存储介质

    公开(公告)号:CN117350407B

    公开(公告)日:2024-11-05

    申请号:CN202311549066.1

    申请日:2023-11-20

    发明人: 于皓 张杰

    IPC分类号: G06N20/00 G06F40/20

    摘要: 本申请公开了一种模型处理方法、装置、电子设备及可读存储介质,属于人工智能技术领域。本申请实施例中的模型处理方法包括:获取训练数据;根据所述训练数据以及预先建立的prompt模板,生成第一prompt数据和第二prompt数据;所述第一prompt数据与第一任务相关,所述第一任务至少包括目标原子任务;所述第二prompt数据与第二任务相关,所述第二任务包括所述目标原子任务,且所述第二任务包括的原子任务的个数比第一任务包括的原子任务的个数多;利用所述第一prompt数据对预训练模型进行训练,获得初始任务执行模型;利用所述第二prompt数据对所述初始任务执行模型进行调整,获得目标任务执行模型。由此,可以有效提升模型的任务执行能力。

    文本处理方法、装置、电子设备及可读存储介质

    公开(公告)号:CN118569215B

    公开(公告)日:2024-10-11

    申请号:CN202411060017.6

    申请日:2024-08-05

    发明人: 贾敬伍 于皓 张杰

    摘要: 本发明提供一种文本处理方法、装置、电子设备及可读存储介质,属于自然语言处理技术领域。该方法包括:获取目标语言识别文本;获取每行对话文本的第一要素信息和第二要素信息,目标语言识别文本中任一行第一对话文本的第二要素信息与M行对话文本关联,M行对话文本包括第一对话文本和目标语言识别文本中对话时刻在第一对话文本之前的对话文本,M行对话文本的第一要素信息中要素名称相同;根据对话文本段对应的第一要素信息和第二要素信息,确定对话文本段的第三要素信息;根据对话文本段和第三要素信息,确定大模型的训练数据,大模型用于对语言识别文本进行要素抽取。

    文本处理方法、装置、电子设备及可读存储介质

    公开(公告)号:CN118569215A

    公开(公告)日:2024-08-30

    申请号:CN202411060017.6

    申请日:2024-08-05

    发明人: 贾敬伍 于皓 张杰

    摘要: 本发明提供一种文本处理方法、装置、电子设备及可读存储介质,属于自然语言处理技术领域。该方法包括:获取目标语言识别文本;获取每行对话文本的第一要素信息和第二要素信息,目标语言识别文本中任一行第一对话文本的第二要素信息与M行对话文本关联,M行对话文本包括第一对话文本和目标语言识别文本中对话时刻在第一对话文本之前的对话文本,M行对话文本的第一要素信息中要素名称相同;根据对话文本段对应的第一要素信息和第二要素信息,确定对话文本段的第三要素信息;根据对话文本段和第三要素信息,确定大模型的训练数据,大模型用于对语言识别文本进行要素抽取。

    训练数据生成方法、模型训练方法、装置、设备及介质

    公开(公告)号:CN118297189B

    公开(公告)日:2024-08-09

    申请号:CN202410719712.2

    申请日:2024-06-05

    摘要: 本申请提供了一种训练数据生成方法、模型训练方法、装置、设备及介质,属于自然语言处理技术领域。训练数据生成方法包括:根据初始文本数据,确定多个版块数据;确定各个版块数据与初始文本数据之间的第一关联关系以及多个版块数据之间的第二关联关系;根据第一关联关系和第二关联关系,确定多个版块数据的排版信息;基于排版信息对多个版块数据进行排版,得到目标文本数据;根据初始文本数据、目标文本数据以及目标文本数据中的版块数据与初始文本数据的映射关系,得到训练数据。根据本申请的实施例能够较为便捷地得到合理性和准确性相对较高的训练数据,在利用该训练数据训练识别模型时,可以有效提高训练效果。

    大语言模型微调方法、装置、电子设备及可读存储介质

    公开(公告)号:CN118396033A

    公开(公告)日:2024-07-26

    申请号:CN202410450709.5

    申请日:2024-04-15

    IPC分类号: G06N3/045 G06N3/09 G06N3/0985

    摘要: 本申请公开一种大语言模型微调方法、装置、电子设备及可读存储介质,属于自然语言处理技术领域。该方法包括:使用通用领域的大规模文本数据对目标预训练模型进行继续预训练,得到领域基础模型;获取领域基础模型的预训练参数,使用目标领域的第一指令微调数据对预训练参数进行调整,得到目标超参数;使用通用领域的第二指令微调数据对领域基础模型进行训练,根据训练后的领域基础模型和目标超参数,生成目标大语言模型。通过该方式,可以缓解目标领域的第一指令微调数据的数据量不足的问题,提高目标大语言模型在目标领域任务上的适配效果。

    模型训练方法、任务处理方法、装置、设备、介质及产品

    公开(公告)号:CN118350438A

    公开(公告)日:2024-07-16

    申请号:CN202410569093.3

    申请日:2024-05-09

    发明人: 于皓 张杰

    IPC分类号: G06N3/08 G06N3/042 G06N5/04

    摘要: 本申请提供了一种模型训练方法、任务处理方法、装置、设备、介质及产品,属于人工智能技术领域。方法包括:确定第一预设模型的多个原子任务和各个原子任务对应的原子指令集;针对任一原子任务,将与原子任务对应的专家层挂载到第一预设模型的目标位置,并基于与原子任务对应的原子指令集对专家层的网络参数进行调整,得到调整后的专家层;基于多个调整后的专家层和第一预设模型,得到第二预设模型;确定第二预设模型的至少一个样本组合任务和各个样本组合任务对应的样本指令集;基于样本组合任务和样本指令集,对第二预设模型的网络参数进行调整,获得用于执行目标任务的目标模型。根据本申请的实施例能够融合多个专家的能力,提升模型处理能力。

    模型训练方法、任务处理方法、装置、设备、介质及产品

    公开(公告)号:CN118350437A

    公开(公告)日:2024-07-16

    申请号:CN202410568262.1

    申请日:2024-05-09

    发明人: 于皓 张杰

    IPC分类号: G06N3/08 G06N3/0499 G06N5/04

    摘要: 本申请提供了一种模型训练方法、任务处理方法、装置、设备、介质及产品,属于人工智能技术领域。模型训练方法包括:获取待处理的第一预设模型,并确定与第一预设模型对应的预设任务领域;获取预设任务领域的语料数据和语料数据的知识类型;确定第一预设模型中与各个知识类型对应的目标网络层;针对任一目标网络层,在目标网络层挂载与目标网络层的知识类型对应的调整层,获得第二预设模型;基于语料数据对第二预设模型的调整层的网络参数进行调整,得到训练好的目标模型。根据本申请的实施例能够将预设任务领域的知识注入到模型的适配位置,提高领域知识的注入能力,从而提升模型对于该预设任务领域的任务的处理能力。

    姓名生成方法及装置、电子设备、计算机程序产品

    公开(公告)号:CN118171655A

    公开(公告)日:2024-06-11

    申请号:CN202410586587.2

    申请日:2024-05-13

    发明人: 贾敬伍 张杰 于皓

    摘要: 本公开提供了一种姓名生成方法及装置、电子设备、计算机程序产品,该方法包括:获取自动语音识别文本;从所述自动语音识别文本中提取目标语句,其中,所述目标语句中包括用于描述姓名的上下文文本;从所述目标语句中提取姓名文本和姓名的解释文本;根据所述姓名文本和所述姓名的解释文本,生成目标姓名。本公开实施例能够提升从自动语音识别文本中抽取姓名的准确率。

    信息确定方法、装置、电子设备及可读存储介质

    公开(公告)号:CN118153572A

    公开(公告)日:2024-06-07

    申请号:CN202410251471.3

    申请日:2024-03-06

    发明人: 贾敬伍 张杰 于皓

    摘要: 本发明提供一种信息确定方法、装置、电子设备及可读存储介质,属于自然语言处理技术领域。该方法包括:获取资料集中文档资料的目标关键词,所述目标关键词在所述资料集的词频大于其他关键词在所述资料集的词频;获取文档资料中所述目标关键词关联的文本描述信息;根据所述文本描述信息,利用信息共现窗口获取所述目标关键词关联的词组集合;根据所述词组集合,确定所述资料集的主题信息。

    表格问答模型的训练方法、设备、介质、软件及产品

    公开(公告)号:CN118132723A

    公开(公告)日:2024-06-04

    申请号:CN202410334221.6

    申请日:2024-03-22

    发明人: 李犇 张杰 范清 于皓

    摘要: 本申请实施例提供了一种表格问答模型的训练方法、计算机设备、存储介质、计算机软件及计算机程序产品,包括:采集多个表格和各表格对应的问题;基于多个预设的SQL模板,分别生成各表格对应的SQL语句,一个表格对应生成多个SQL语句,包括第一SQL语句和第二SQL语句,第一SQL语句与表格对应的问题关联,第二SQL语句与表格对应的问题不关联;基于多个表格中第一部分的表格的第一SQL语句,确定与多个表格中第二部分的表格的第二SQL语句关联的问题;基于表格对应关联的问题和SQL语句,确定各SQL语句的执行结果;基于表格对应关联的问题、SQL语句和执行结果,训练得到表格问答模型。