本发明提出了一种神经网络的剪枝方法，包括以下步骤：S1，根据硬件资源的规模、时序约束、以及先验知识，确定脉动阵列规模，再根据硬件资源的规模、时序约束、以及先验知识、脉动阵列规模，确定最大筛选通道数和过滤器分组的最小数量；S2，将S1得到的最大筛选通道数和过滤器分组的最小数量以及其它约束条件训练神经网络；S3，训练完毕后，通过编译器产生指令，对加速器的剪枝模式进行配置；S4，然后加速器接收解码后的指令，将输入特征图数据、经过训练压缩后的权重数据、根据训练生成的剪枝模式配置信息、以及经过训练生成的通道选择数据加载至加速器内部的硬件缓存单元中；S5，数据全部加载至硬件内部资源后，加速器开始进行卷积计算，脉动阵列开始工作，最终得到卷积结果。本发明能够在满足脉动阵列SA工作模式，保证其工作效率的前提下，减少了模型的参数量，提高了模型推理的速度。