公开(公告)号：CN116306904A

公开(公告)日：2023-06-23

申请号：CN202310125096.3

申请日：2023-02-16

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  莫梓嘉 ,  杨杨 ,  芮兰兰 ,  赵晨 ,  俞新蕾 ,  冯夫腾

IPC: G06N3/096 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047

Abstract: 本发明提供一种基于在线知识蒸馏的卷积神经网络量化方法及装置，所述方法包括：设置多个组员模型并对各组员模型进行权重量化和激活量化使得输出的预测值精度符合目标精度，将各组员模型的输出加权聚合成总目标，并基于总目标对组长模型进行知识蒸馏，采用总损失函数对组长模型迭代得到目标组长模型。本发明能够减少知识蒸馏时计算资源和计算时间的浪费，同时提高了目标组长模型的精度。

公开(公告)号：CN116306808A

公开(公告)日：2023-06-23

申请号：CN202310147699.3

申请日：2023-02-20

Applicant: 北京邮电大学

Inventor： 高志鹏 ,  莫梓嘉 ,  芮兰兰 ,  杨杨 ,  赵晨 ,  俞新蕾 ,  冯夫腾

IPC: G06N3/0464 ,  G06N3/082 ,  G06V40/10 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明提供一种联合动态剪枝和条件卷积的卷积神经网络压缩方法及装置，所述方法包括：将训练样本集输入卷积神经网络得到卷积神经网络中各卷积层的输入特征和输出特征，计算每个卷积层各输入特征间的通道显著性相似度和各输出特征间的样本相似度并构建第一总损失函数，采用第一总损失函数对卷积神经网络迭代得到第一轻量化模型和多个第二轻量化模型，当第一轻量化模型的预测值未达到设定阈值，则将各第二轻量化模型的卷积层与第一轻量化模型卷积层的组合系数组合形成集成模型，并输出预测值。本发明能够根据不同的样本数据对模型进行自适应调整和剪枝，实现模型压缩，同时提高了模型效率。