发明公开
- 专利标题: 自适应调节知识蒸馏温度的模型压缩方法、系统及介质
-
申请号: CN202310655889.6申请日: 2023-06-05
-
公开(公告)号: CN116778295A公开(公告)日: 2023-09-19
- 发明人: 黄磊 , 丁卓越 , 张成 , 叶润 , 闫斌 , 周小佳
- 申请人: 电子科技大学长三角研究院(湖州)
- 申请人地址: 浙江省湖州市西塞山路819号科技创新综合体B1幢
- 专利权人: 电子科技大学长三角研究院(湖州)
- 当前专利权人: 电子科技大学长三角研究院(湖州)
- 当前专利权人地址: 浙江省湖州市西塞山路819号科技创新综合体B1幢
- 代理机构: 广州三环专利商标代理有限公司
- 代理商 唐莉梅
- 主分类号: G06V10/82
- IPC分类号: G06V10/82 ; G06N3/048 ; G06V10/774 ; G06T3/40
摘要:
本发明属于模型压缩技术领域,公开了一种自适应调节知识蒸馏温度的模型压缩方法、系统及介质,采集图像样本,对图像样本中的异常数据和缺失数据进行数据清洗,包括直接丢弃异常数据和采用最邻近插值或双线性插值法恢复缺失数据;采用Mosaic‑4数据增强方法随机对图像样本进行翻转、缩放、裁剪等操作,并任意选取4张变换后的图像进行拼接,进而增强图像样本;建立最小化自适应蒸馏损失函数,完成教师模型的知识到学生模型的传递,实现知识蒸馏;采用训练集对学生模型进行训练,确定最优化的总损失函数,实现模型压缩。本发明更好地平衡教师模型知识向学生模型的传递,进而获得更轻量化的学生模型。