一种基于自蒸馏对比学习的超分辨率模型加速方法
摘要:
本发明公开了一种基于自蒸馏对比学习的超分辨率模型加速方法,采用自蒸馏框架引入基于对比学习的损失函数,在一个参数量较大的教师模型中选取每一层的前1/r的通道构成多个学生模型,并采用渐进式方式进行训练。测试阶段,利用输入图像的特征,估计图像复原难度为其选择最合适的分支,进行动态推理。本发明具有即插即用性,对目前现有的所有超分辨率模型同时进行压缩和加速;通过使用对比损失,对解空间的上下界进行约束,在减少模型参数量的同时保证模型的性能,使复原得到的图片有更强的真实性。采用渐进式训练,可以保证多个模型的一致性和训练稳定性。通过动态推理策略,“简单”输入可以使用“简单”分支,实现复原效果和计算量更优的平衡。
0/0