一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
摘要:
本发明涉及神经网络领域,特别涉及一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法。具体包括以下步骤:步骤一、对于卷积神经网络,对神经网络l层搜索最佳剪枝比例pl;步骤二、对卷积神经网络的l层按照最佳剪枝比例进行剪枝操作;步骤三、对学生网络与教师网络输入训练集样本,前向传播;步骤四、对学生网络使用知识蒸馏算法,进行优化训练;步骤五、对学生网络进行反向传播更新参数,并且优化更新参数,然后跳转至步骤四。本发明实现卷积神经网络的剪枝与精度恢复,克服卷积神经网络压缩依赖原始数据集的问题。
0/0