公开(公告)号：CN117217302B

公开(公告)日：2024-06-07

申请号：CN202311168525.1

申请日：2023-09-11

申请人： 上海交通大学

发明人： 郭鑫斐 ,  赵晓田 ,  徐如歌 ,  姜凯 ,  段强

IPC分类号： G06N5/01 ,  G06N5/04 ,  G06N3/0495 ,  G06N3/042 ,  G06N3/082

摘要： 本发明提供了一种基于动态规划的多目标混合精度量化搜索方法及系统，包括：确定能够优化的位操作数量；对神经网络中所有层进行同一位宽的精度量化，进行训练感知量化，得到训练后的模型、基准推理精度和总操作数；并通过引入新的训练敏感度的指标，进一步扩大搜索空间，计算得到每一层不同位宽的精度损失、总操作数损失以及训练敏感度损失；按照顺序对位宽，对每一层神经网络和每个小于能够优化的位操作数量的值进行三层循环的遍历，并进行动态规划转移并记录遍历到每一层时的最小精度损失，以及进行状态转移的层，输出已被量化的层和量化精度，形成混合精度量化策略。本发明能够支持更多优化目标的多维混合精度搜索方法，提高搜索效率。

公开(公告)号：CN117217302A

公开(公告)日：2023-12-12

申请号：CN202311168525.1

申请日：2023-09-11

申请人： 上海交通大学

发明人： 郭鑫斐 ,  赵晓田 ,  徐如歌 ,  姜凯 ,  段强

IPC分类号： G06N5/01 ,  G06N5/04 ,  G06N3/0495 ,  G06N3/042 ,  G06N3/082

摘要： 本发明提供了一种基于动态规划的多目标混合精度量化搜索方法及系统，包括：确定能够优化的位操作数量；对神经网络中所有层进行同一位宽的精度量化，进行训练感知量化，得到训练后的模型、基准推理精度和总操作数；并通过引入新的训练敏感度的指标，进一步扩大搜索空间，计算得到每一层不同位宽的精度损失、总操作数损失以及训练敏感度损失；按照顺序对位宽，对每一层神经网络和每个小于能够优化的位操作数量的值进行三层循环的遍历，并进行动态规划转移并记录遍历到每一层时的最小精度损失，以及进行状态转移的层，输出已被量化的层和量化精度，形成混合精度量化策略。本发明能够支持更多优化目标的多维混合精度搜索方法，提高搜索效率。

公开(公告)号：CN118333124A

公开(公告)日：2024-07-12

申请号：CN202410236022.1

申请日：2024-03-01

申请人： 上海交通大学 ,  山东浪潮科学研究院有限公司

发明人： 郭鑫斐 ,  徐如歌 ,  姜凯 ,  段强

IPC分类号： G06N3/082 ,  G06N3/0495

摘要： 本发明提供了一种具有层间关联性感知能力的多目标混合精度量化搜索方法和系统，包括：压缩神经网络模型，获取推理精度；量化并降低模型每层的比特位，获取推理精度和敏感度；采样得到随机的混合精度量化策略，降低模型中的复数层的比特位；获取推理精度损失，计算所有采样得到的混合精度量化策略对应的层间依赖性；筛选出条件集合；计算得出平均层间依赖性，算出不同层数对应的层间依赖性；设定影响值指标，求出模型中每层对应的影响值的近似解；根据得到两个优化目标；得出最优策略。本发明通过采用均匀采样和线性回归的方法，得出总层数对于层间依赖性的影响值，解决了如何定量测量任意一个混合精度量化策略对应的层间依赖性的问题。