专利检索 ap:("东南大学") AND inv:"徐国现" 第 1 页

1.

发明公开
动态修剪深度神经网络权重和权重共享的压缩方法审中-实审

公开(公告)号：CN110210618A

公开(公告)日：2019-09-06

申请号：CN201910427397.5

申请日：2019-05-22

申请人： 东南大学

发明人： 裴文江 , 徐国现 , 夏亦犁

IPC分类号： G06N3/08

摘要： 本发明提出一种动态修剪深度神经网络权重和权重共享的压缩方法，它在非结构化剪枝的基础上，在保证精度稳定的情况下进一步降低深度神经网络模型的参数冗余。本发明先对深度神经网络模型进行动态修剪操作，主要分为剪枝和剪接两个部分，剪接可以最大程度保留网络中重要的权重连接，避免修剪过程中存在的误操作，另外为了提高模型修剪后的精度，在修剪过程中加入L1正则化；然后对修剪后的网络进一步K-Means量化，使得权重共享。本发明提出的压缩方法，可以保证模型的精度没有损失的情况下，大大减少深度神经网络中的冗余参数，降低模型的存储内存。本发明在基于ImageNet数据集的AlexNet网络上进行本压缩方法实验，将原始网络压缩了52倍，并且没有造成精度的损失。