一种轻量级神经网络模型训练方法、系统、装置及存储介质，轻量级神经网络模型训练方法包括：将学生模型的第一训练数据集输入至预先训练得到的教师模型，根据教师模型的输出，结合难度值计算方法，对所有样本进行难度值计算并排序后，得到第二训练数据集；将第二训练数据集划分为多个不同难度等级的训练子集；根据训练子集的难度等级次序，按照一定的输入方式并结合知识蒸馏策略，对所述学生模型进行训练。该方法将大型神经网络模型的知识按照预定义顺序迁移给轻量级网络模型，一方面可以降低轻量级网络模型的训练开销，另一方面还可以提升轻量级网络模型的性能。