本发明公开了一种基于混合比特位宽的稀疏卷积加速器，该稀疏卷积加速器包括：总控模块，用于控制所述基于混合比特位宽的稀疏卷积加速器的整体运行；DMA，用于执行片内外图像数据和权重的搬运；第一计算核，用于完成混合比特位宽的稀疏卷积层的加速；缓存模块，用于缓存和复用数据。本发明提出了一种以低位宽乘法器为基本单元，通过加法、移位及基本单元的灵活组合，以支持混合精度计算的CNN乘法累加器结构，灵活、高效地实现对不同压缩网络模型的卷积算子的硬件加速。本发明可广泛应用于芯片设计领域。