本申请公开了一种语言模型的训练方法和文本生成方法，属于人工智能技术领域。方法包括：获取样本文本数据和第一语言模型，第一语言模型包括多个第一解码网络，第一解码网络包括第一线性层和第一标准化层；对任一个第一解码网络中的第一线性层进行压缩，得到第二线性层；基于任一个第一解码网络对应的第二解码网络，对第一输入特征进行解码处理得到第一输出特征，第二解码网络包括第二线性层和第一标准化层；基于第一输出特征对第一标准化层进行训练得到第二标准化层；基于各个第一解码网络对应的第三解码网络，确定第二语言模型，第三解码网络包括第二线性层和第二标准化层。本申请降低了模型的参数量，且提高了训练后的语言模型的精度。