本发明公开了一种掩码自编码器的知识蒸馏方法、装置、设备及存储介质，该方法通过分别建立掩码自编码器的教师模型和学生模型，其中，所述教师模型和所述学生模型均为视觉变换模型，且所述教师模型的规模大于所述学生模型；对所述教师模型进行预训练；基于预训练好的所述教师模型对所述学生模型进行知识蒸馏预训练，使学生模型从预训练好的教师模型中学习数据泛化能力，得到表征能力更好的图像特征；基于下游任务对预训练好的所述学生模型进行微调训练，学生模型可部署在算力资源缺乏的电力边缘侧，在减少模型参数的同时保证了模型精度不下降，加速实时推理速度。