本公开实施例公开了一种预训练模型的训练方法、编码特征获取方法及相关装置，方法包括：获取待识别音频的各音频帧特征与文本特征；通过文本编码模块对文本特征进行编码，得到文本编码特征；随机选择音频帧特征进行掩码处理，得到掩码音频帧特征序列；通过音频编码模块，结合文本编码特征，对各掩码音频帧特征进行编码，得到掩码音频帧编码特征序列；根据各个掩码音频帧编码特征，获取各个训练音频帧特征，并获取音频损失，调整预训练模型的参数，直至音频损失满足损失音频阈值，得到训练好的文本编码模块和音频编码模块。本公开实施例公开的预训练模型的训练、编码特征获取方法及装置，能够在较小的标注量的基础上，提高模型训练的准确性。