公开(公告)号：CN114239798B

公开(公告)日：2024-09-17

申请号：CN202111448717.9

申请日：2021-11-30

申请人： 西安交通大学

发明人： 任鹏举 ,  马建 ,  涂志俊 ,  石莉莉 ,  杨国茗 ,  付格林 ,  夏天 ,  赵文哲 ,  陈飞 ,  辛景民

IPC分类号： G06N3/0464 ,  G06N3/082

摘要： 公开了基于奇偶性对数量化的无乘法深度神经网络模型压缩方法，方法中，首先根据预定比特位宽(bit)构建整型数值集合V，其元素可以表示为2的奇数幂和2的偶数幂的和，然后将浮点数据根据量化系数量化为低比特整型数据，接着再反量化得到浮点离散数据，进一步可构建低比特纯整型无乘法的深度神经网络，将卷积层和全连接层计算中大量存在的输入数据与权重参数的乘法计算替换成移位操作和加法计算。

公开(公告)号：CN112733964B

公开(公告)日：2024-01-19

申请号：CN202110134308.5

申请日：2021-02-01

申请人： 西安交通大学

发明人： 任鹏举 ,  涂志俊 ,  马建 ,  夏天 ,  赵文哲 ,  陈飞 ,  郑南宁

IPC分类号： G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/092 ,  G06N3/063 ,  G06N3/08 ,  G06N5/04

摘要： 公开了一种强化学习自动感知权重分布的卷积神经网络量化方法，方法中，将每层批处理操作的参数与卷积操作的权重融合得到融合后的权重和偏置，获取浮点卷积神经网络模型中每一层融合后的权重的分布信息；根据每层权重的分布信息强化学习自动搜索最优的每层权重缩放系数，基于每层权重缩放系数将浮点权重量化成INT8类型数据；输入校准数据集，每输入一组数据记录每层输出特征图，选取众数作为每层输出特征图的缩放系数，根据每层权重的缩放系数和每层输出特征图的缩放系数计算得到每层偏置的缩放系数以将浮点的偏置量化为INT32类型的偏置，基于INT8类型数据、INT32类型的偏置和总的缩放系数构建前向推理过程完成量化。

公开(公告)号：CN114239798A

公开(公告)日：2022-03-25

申请号：CN202111448717.9

申请日：2021-11-30

申请人： 西安交通大学

发明人： 任鹏举 ,  马建 ,  涂志俊 ,  石莉莉 ,  杨国茗 ,  付格林 ,  夏天 ,  赵文哲 ,  陈飞 ,  辛景民

IPC分类号： G06N3/04 ,  G06N3/08

摘要： 公开了基于奇偶性对数量化的无乘法深度神经网络模型压缩方法，方法中，首先根据预定比特位宽(bit)构建整型数值集合V，其元素可以表示为2的奇数幂和2的偶数幂的和，然后将浮点数据根据量化系数量化为低比特整型数据，接着再反量化得到浮点离散数据，进一步可构建低比特纯整型无乘法的深度神经网络，将卷积层和全连接层计算中大量存在的输入数据与权重参数的乘法计算替换成移位操作和加法计算。

公开(公告)号：CN112733964A

公开(公告)日：2021-04-30

申请号：CN202110134308.5

申请日：2021-02-01

申请人： 西安交通大学

发明人： 任鹏举 ,  涂志俊 ,  马建 ,  夏天 ,  赵文哲 ,  陈飞 ,  郑南宁

IPC分类号： G06K9/62 ,  G06N3/04 ,  G06N3/063 ,  G06N3/08 ,  G06N5/04

摘要： 公开了一种强化学习自动感知权重分布的卷积神经网络量化方法，方法中，将每层批处理操作的参数与卷积操作的权重融合得到融合后的权重和偏置，获取浮点卷积神经网络模型中每一层融合后的权重的分布信息；根据每层权重的分布信息强化学习自动搜索最优的每层权重缩放系数，基于每层权重缩放系数将浮点权重量化成INT8类型数据；输入校准数据集，每输入一组数据记录每层输出特征图，选取众数作为每层输出特征图的缩放系数，根据每层权重的缩放系数和每层输出特征图的缩放系数计算得到每层偏置的缩放系数以将浮点的偏置量化为INT32类型的偏置，基于INT8类型数据、INT32类型的偏置和总的缩放系数构建前向推理过程完成量化。