本发明实施例涉及一种生成式大语言模型的预训练方法和装置，所述方法包括：构建初始模型；构建初始数据集；对初始数据集预处理；初始化模型词汇表；对预处理数据集进行数据批次划分和排序；按反向预测方向根据模型词汇表和批次数据集序列对初始模型进行预训练得到反向模型；按正向预测方向根据模型词汇表、批次数据集序列和反向模型对初始模型进行预训练得到正向模型；评测正向模型；评测合格时将正向模型作为预训练结果输出。通过本发明可以降低生成式大语言模型的本地化发展难度、加快本地化发展应用进程。