本发明公开了一种基于稀疏压缩存储的神经网络硬件加速器，包括先进先出模块、输入激活buffer模块、权重buffer模块、控制模块、选择模块、处理单元模块、累加模块、输出Buffer模块和后处理模块；先进先出模块将输入激活数据和权重数据按稀疏压缩格式分别存入激活buffer和权重buffer模块，选择模块用于通过控制模块读取激活buffer和权重buffer模块中的数据，并选择出输入激活数据和权重数据中同时非零的非零对儿真值数据；将非零对儿真值数据输入处理单元模块进行乘加操作，运算结果通过累加模块反复累加，累加结果读出到输出buffer模块，得到最终结果，再输入到后处理模块进行后处理操作。