发明公开
- 专利标题: 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
- 专利标题(英): Neural network pruning compression algorithm based on automatic search and knowledge distillation
-
申请号: CN201910338123.9申请日: 2019-04-25
-
公开(公告)号: CN110175628A公开(公告)日: 2019-08-27
- 发明人: 田永鸿 , 张乐纯 , 史业民 , 王耀威 , 黄铁军
- 申请人: 北京大学 , 北京大学深圳研究生院
- 申请人地址: 北京市海淀区颐和园路5号
- 专利权人: 北京大学,北京大学深圳研究生院
- 当前专利权人: 北京大学,北京大学深圳研究生院
- 当前专利权人地址: 北京市海淀区颐和园路5号
- 代理机构: 北京辰权知识产权代理有限公司
- 代理商 刘广达
- 主分类号: G06K9/62
- IPC分类号: G06K9/62 ; G06N3/04
摘要:
本发明涉及神经网络领域,特别涉及一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法。具体包括以下步骤:步骤一、对于卷积神经网络,对神经网络l层搜索最佳剪枝比例pl;步骤二、对卷积神经网络的l层按照最佳剪枝比例进行剪枝操作;步骤三、对学生网络与教师网络输入训练集样本,前向传播;步骤四、对学生网络使用知识蒸馏算法,进行优化训练;步骤五、对学生网络进行反向传播更新参数,并且优化更新参数,然后跳转至步骤四。本发明实现卷积神经网络的剪枝与精度恢复,克服卷积神经网络压缩依赖原始数据集的问题。