本申请公开了用于输出信息的方法、装置、设备以及存储介质，涉及知识图谱技术领域。具体实现方案为：获取输入文本集合和任务信息集合，其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系；获取与输入文本集合中输入文本相关的参考文本；将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；输出目标语言模型。本实现方式可以利用与各输入文本相关的参考文本对语言模型进行预训练和微调，提高了语言模型对外部知识的利用率，提高了语言模型对文本的理解能力。