语言模型的训练方法、NLP任务处理方法及装置

    公开(公告)号:CN113420123A

    公开(公告)日:2021-09-21

    申请号:CN202110705729.9

    申请日:2021-06-24

    摘要: 本申请提供了一种语言模型的训练方法、NLP任务处理方法及装置,包括:获取训练样本集;训练样本集包括新任务的第一任务标签、新任务的多个第一训练文本和每个第一训练文本的第一文本标签、至少一个旧任务中每个旧任务的第二任务标签;复制语言模型得到教师语言模型,将语言模型作为学生语言模型;将第二任务标签输入至教师语言模型中,生成旧任务对应的多个第二训练文本和每个第二训练文本的第二文本标签;将第一任务标签、第二任务标签、第一训练文本和第二训练文本输入至学生语言模型中,生成第一预测文本、第一预测结果、第二预测文本和第二预测结果,对学生语言模型进行训练。根据本申请实施例,能够解决相关技术中存储资源占用大的问题。

    一种基于联邦学习模型的训练方法

    公开(公告)号:CN117035058A

    公开(公告)日:2023-11-10

    申请号:CN202310971765.9

    申请日:2023-08-03

    摘要: 本发明属于联邦学习领域,提供了一种基于联邦学习模型的训练方法,包括以下步骤:S11,定义问题:确定需要解决的机器学习问题、本地数据的来源、以及参与联邦学习的设备或节点;S12,模型选择和初始化:选择相应的模型,并在所有的本地设备或节点上初始化相应的模型,并下发至所有用户端;S13,本地训练:每个本地设备或节点使用其本地数据集对初始化的模型进行训练,得到一个本地模型;S14,模型聚合:在中央服务器上聚合本地模型;本发明通过在每个本地设备或节点都可以进行本地模型的训练和更新,进一步分散计算负载,提高训练速度和效率;通过设定停止条件来控制模型更新的频率,进而避免过度拟合等问题。