自适应调节知识蒸馏温度的模型压缩方法、系统及介质
摘要:
本发明属于模型压缩技术领域,公开了一种自适应调节知识蒸馏温度的模型压缩方法、系统及介质,采集图像样本,对图像样本中的异常数据和缺失数据进行数据清洗,包括直接丢弃异常数据和采用最邻近插值或双线性插值法恢复缺失数据;采用Mosaic‑4数据增强方法随机对图像样本进行翻转、缩放、裁剪等操作,并任意选取4张变换后的图像进行拼接,进而增强图像样本;建立最小化自适应蒸馏损失函数,完成教师模型的知识到学生模型的传递,实现知识蒸馏;采用训练集对学生模型进行训练,确定最优化的总损失函数,实现模型压缩。本发明更好地平衡教师模型知识向学生模型的传递,进而获得更轻量化的学生模型。
0/0