本发明涉及人工智能神经网络技术领域，具体公开一种基于幂指数量化的神经网络压缩方法。该方法，在外部数据集上训练卷积神经网络后获取该网络的初始化权值参数；根据权值参数绝对值的大小以及分组阈值将权值参数分为两组，绝对值超过阈值的一组基于预先设定的位宽及绝对值最大的权值参数量化大于分组阈值的一组权值参数，将权值参数量化为2的幂或者0；对小于分组阈值的权值参数再训练后执行分组再量化的循环操作，直至网络收敛。本发明在保证参数的取值范围不被压缩的同时在一定程度上减小量化对最终目标检测准确率的影响，解决了量化后准确率下降过多以及硬件实现难度大的问题。