一种卷积神经网络的量化压缩方法，解决了如何能够在提高压缩比的同时有效保留精度的问题，属于神经网络加速领域。本发明包括：S1、获取卷积神经网络的原始权重张量、输入特征张量以及量化点；S2、将原始权重张量输入至DP结构，DP结构对原始权重张量进行修改，输出修改后的原始权重张量；S3、利用量化点及量化函数对修改后的原始权重张量及除第一层外的原始输入特征张量进行定点量化；利用定点量化后的权重张量和输入特征张量替换原始权值张量和输入特征张量，得到量化后的卷积神经网络；S4、将训练数据输入至量化后的卷积神经网络，计算loss，利用反向传播和梯度下降更新DP结构的参数和原始权重张量，转入S2，进行下一轮，直至训练完成。