本发明实施例提供一种神经网络的加速方法及装置，其中方法包括：对于神经网络中的任一层，根据层的量化模式，对输入至所述层的特征图进行分块，获得若干个块数据，对所述块数据中不同通道但同一位置的像素设置同一索引值；计算所述块数据的稀疏度，抛弃全为0的块数据，对剩余的块数据，根据所述剩余的块数据的稀疏度以及预设阈值确定相应的稀疏类型，根据所述稀疏类型对所述剩余的块数据进行稀疏编码。本发明实施保证了每个像素位置处索引数量不因量化模式的不同而出现成倍增加的情况，解决了多种稀疏度和多种量化位宽混杂的神经网络编码问题。