本申请实施例公开了一种知识蒸馏方法、装置、电子设备和存储介质。获取待分类网络的特征提取层提取的待处理图片的待处理特征，以及待分类网络的分类层对待处理特征进行分类所得的分类结果；其中，待分类网络包括教师网络和学生网络；根据待分类网络的待处理特征，确定待分类网络的特征权重；根据不同待分类网络的待处理特征、特征权重以及分类结果，确定教师网络和学生网络进行知识蒸馏时的目标损失函数；根据目标损失函数，调整学生网络的网络参数。本申请实施例提高了分类精度和速度，提高了分类网络的可应用性。