公开(公告)号：CN120046687A

公开(公告)日：2025-05-27

申请号：CN202510117975.0

申请日：2025-01-24

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 郭苏颖 ,  王宇琪 ,  刘宏宇 ,  徐楠 ,  仲维建 ,  张西娜 ,  罗引 ,  王磊

IPC: G06N3/09 ,  G06N3/088 ,  G06N5/045

Abstract: 本公开涉及一种大语言模型训练、信息处理方法、装置、设备及介质。其中，大语言模型训练方法包括：获取第一训练文本，基于待训练大语言模型计算第一训练文本中各个token分别对应的期望梯度值；对各个token分别对应的期望梯度值进行融合处理，得到正则化项；基于正则化项对待训练大语言模型进行无监督预训练，得到第一大语言模型；获取第二训练文本，基于第二训练文本对应的目标正则化项对第一大语言模型进行有监督指令微调，得到第二大语言模型，将第二大语言模型确定为训练完成的大语言模型，由此，能够将大语言模型的解释结果融入大语言模型的训练过程中，提高了训练完成的大语言模型的性能。