本申请公开了一种自然语言表示方法、装置、设备及存储介质。方法包括：获取多个目标单词，目标单词从用于训练的多个目标语句中获取；对每一个目标单词进行切分，得到多个子词；将每一个子词映射到对应的初始目标向量；对每一个初始目标向量进行不同核维度的卷积操作，得到多个卷积结果；将得到的多个卷积结果进行拼接，得到对应的子词的目标向量；根据得到的每一个子词的目标向量，确定对应的目标单词的向量表示；根据得到目标单词的向量表示的方法，得到目标单词所在的目标语句的所有目标单词的向量表示；将得到的每一个目标语句的所有目标单词的向量表示作为自然语言的预训练模型的输入，用于构建自然语言的预训练模型。提高模型的迁移效果。