发明公开
- 专利标题: 一种基于自蒸馏对比学习的超分辨率模型加速方法
-
申请号: CN202210782436.5申请日: 2022-07-05
-
公开(公告)号: CN115147277A公开(公告)日: 2022-10-04
- 发明人: 谢源 , 王烟波 , 张志忠 , 马利庄
- 申请人: 华东师范大学
- 申请人地址: 上海市闵行区东川路500号
- 专利权人: 华东师范大学
- 当前专利权人: 华东师范大学
- 当前专利权人地址: 上海市闵行区东川路500号
- 代理机构: 上海蓝迪专利商标事务所
- 代理商 徐筱梅; 张翔
- 主分类号: G06T3/40
- IPC分类号: G06T3/40 ; G06T5/00 ; G06V10/774 ; G06N20/00
摘要:
本发明公开了一种基于自蒸馏对比学习的超分辨率模型加速方法,采用自蒸馏框架引入基于对比学习的损失函数,在一个参数量较大的教师模型中选取每一层的前1/r的通道构成多个学生模型,并采用渐进式方式进行训练。测试阶段,利用输入图像的特征,估计图像复原难度为其选择最合适的分支,进行动态推理。本发明具有即插即用性,对目前现有的所有超分辨率模型同时进行压缩和加速;通过使用对比损失,对解空间的上下界进行约束,在减少模型参数量的同时保证模型的性能,使复原得到的图片有更强的真实性。采用渐进式训练,可以保证多个模型的一致性和训练稳定性。通过动态推理策略,“简单”输入可以使用“简单”分支,实现复原效果和计算量更优的平衡。