公开(公告)号：CN116663641A

公开(公告)日：2023-08-29

申请号：CN202310566213.X

申请日：2023-05-19

申请人： 北京科技大学

发明人： 黄源翔 ,  何杰 ,  齐悦 ,  杨文金 ,  陈润和 ,  李冠辰

IPC分类号： G06N3/082 ,  G06N3/0464

摘要： 本发明公开了高效可解释的全自动化通道剪枝方法，包括以下步骤：步骤S1：计算待剪枝卷积层的通道重要性，并将之转换为信息贡献率；步骤S2：结合当前探查的累计信息贡献率，保留信息贡献率最大的若干通道，步骤S3：为待剪枝模型的每个卷积层执行剪枝操作，得到剪枝后模型；步骤S4：对剪枝后模型进行评估，若其测试集精度相比于原模型的下降在可接受范围内，则将这个剪枝后模型保留为候选模型之一；步骤S5：更新搜索空间边界和累计信息贡献率，本发明的有益效果是：待剪枝通道的选择算法兼顾了基于度量的剪枝方法的高效性和基于误差重建的剪枝方法的可解释性，相比于这两类算法中的经典工作，可以在更高的模型压缩率下得到更高的测试集精度。

公开(公告)号：CN116579406A

公开(公告)日：2023-08-11

申请号：CN202310566211.0

申请日：2023-05-19

申请人： 北京科技大学

发明人： 陈润和 ,  何杰 ,  齐悦 ,  杨文金 ,  黄源翔 ,  李冠辰

IPC分类号： G06N3/082 ,  G06N3/0464 ,  G06N5/04

摘要： 本发明公开了推理速度优先的层‑通道联合剪枝方法，包括以下阶段：阶段S1：正常训练阶段；阶段S2：层剪枝阶段；阶段S3：通道剪枝阶段；阶段S4：验证反馈阶段，将上一阶段输出的层‑通道剪枝模型作为输入，对该模型精度、参数量、计算量等指标进行验证，并将验证得到的指标与任务要求的各项约束指标进行比较，本发明的有益效果是：在不额外添加模型结构的情况下，快速且精确地判断模型中各层的重要性；通过层剪枝优先策略将层和通道的二维变量寻优问题转换成两个一维变量寻优问题，并且通过“缓存‑回退”机制找到两个一维变量的快速寻优路径，在显著提升速度的同时尽可能压缩了模型的参数量和计算量，进一步节约了内存和模型的能耗。