本发明公开了一种跨范围量化的卷积神经网络压缩方法，包括以下步骤：确定量化卷积神经网络的量化比特和该量化比特下的量化范围，以及基于步长量化的量化函数；训练一个全精度卷积神经网络，并使用全精度卷积神经网络初始化量化卷积神经网络以及量化步长；前向传播阶段，对卷积神经网络的权重参数以及激活值进行量化，对于量化阈值范围内的值，采取常规量化方式；对于量化阈值范围外的值，先减去量化阈值，再进行常规量化；反向传播阶段，使用梯度近似让不可导的量化函数变为可导。本发明在常规量化的基础上对量化范围外的值采取了不同的量化方式，在保留图像识别精度的同时，实现了卷积神经网络的压缩和加速。