-
公开(公告)号:CN115222042A
公开(公告)日:2022-10-21
申请号:CN202210805865.X
申请日:2022-07-08
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种结构化剪枝的方法和系统,该方法包括:S1、将深度神经网络中指定的网络层设置为待剪枝层,得到待处理深度神经网络;S2、利用图像数据集多次训练待处理深度神经网络并在训练过程进行多次预剪枝处理,每次预剪枝处理包括:根据所有待剪枝层在图像数据集上的重要性将重要性排序靠后的且被预剪枝后能够满足每次预剪枝的剪枝量的多个待剪枝层设为被预剪枝,重要性基于待剪枝层的权重参数、梯度以及激活频次确定;S3、当预剪枝处理的次数达到预定的预剪枝次数时,利用图像数据集对预剪枝后的待处理深度神经网络进行微调,并且将与被预剪枝的待剪枝层对应的网络层进行剪枝处理;本发明在压缩模型的同时可更好地保障模型的精度。