本发明公开了一种基于结构化剪枝的稀疏神经网络加速器及其加速方法，属于稀疏神经网络加速领域。本发明采用软硬件协同优化，对卷积神经网络进行结构化剪枝，并基于此设计硬件加速器，每个计算核并行地计算多张输出特征图，共享相同的输入激励。受益于结构化剪枝，每个计算核的负载均衡。计算核内的每个乘法器共享相同的输入激励，并且由于卷积运算窗口滑动的特性，输入激励可以在时间维度上复用。本发明通过结构化剪枝和数据流设计，保证输入激励和权重数据的高复用率，以及运算核的负载均衡；结合计算核的六级流水线，完全跳过了零值激励与权重的读取和运算，最大化地利用了神经网络的稀疏特性，提升了卷积神经网络加速器的吞吐率和能效。