发明公开
- 专利标题: 深度卷积神经网络量化剪枝联合优化的方法及系统
-
申请号: CN202310422590.6申请日: 2023-04-20
-
公开(公告)号: CN116167413A公开(公告)日: 2023-05-26
- 发明人: 胥明凯 , 任志刚 , 李琮 , 杨杰 , 陈显达 , 王淑颖 , 王思源 , 刘昭 , 刘晓 , 刘一男 , 胡庆浩 , 高翔 , 邵帅 , 郑义斌 , 张雨薇
- 申请人: 国网山东省电力公司济南供电公司 , 中国科学院自动化研究所
- 申请人地址: 山东省济南市市中区泺源大街238号;
- 专利权人: 国网山东省电力公司济南供电公司,中国科学院自动化研究所
- 当前专利权人: 国网山东省电力公司济南供电公司,中国科学院自动化研究所
- 当前专利权人地址: 山东省济南市市中区泺源大街238号;
- 代理机构: 济南诚智商标专利事务所有限公司
- 代理商 李修杰
- 主分类号: G06N3/0464
- IPC分类号: G06N3/0464 ; G06N3/042 ; G06N3/082 ; G06N3/092
摘要:
本发明公开了一种深度卷积神经网络量化剪枝联合优化的方法及系统,属于图像处理技术领域,方法包括:获取待处理对象图像的数据集;利用所述数据集训练待优化神经网络模型,并初始化神经网络模型参数,神经网络模型参数包括评价网络、执行网络、目标评价网络和目标执行网络参数;使用基于强化学习的量化剪枝策略学习方法得到神经网络模型最优的权重剪枝率、权重量化率、输入特征量化率;使用基于蒸馏和量化熵正则后训练方法重新训练神经网络,得到优化后的神经网络模型参数;利用最优的权重剪枝率、权重量化率、输入特征量化率对神经网络模型进行优化,得到最终的神经网络模型。本发明使深度卷积神经网络提升了模型性能,实现了加速与压缩。