本申请实施例公开了人工智能技术领域中的一种训练用于在线预测点击率的模型的方法、设备及推荐系统，用于降低在线预测的延迟。本申请实施例方法包括：获取多个教师模型中每个教师模型对样本集中每条样本的点击率的预测值，并将多个教师模型对同一样本的点击率的预测值融合为融合预测值，然后基于样本集中每条样本对应的点击率的融合预测值确定损失函数，最后基于损失函数和样本集合对学生模型进行训练，直到学生模型满足第一收敛条件，该学生模型可以用于在线预测点击率。