本公开提供了一种异构智能处理量化装置，所述异构智能处理装置应用于异构智能处理器，所述异构智能处理器包括通用处理器和智能处理器，其中智能处理器包括控制电路和多个运算电路，所述异构智能处理量化装置包括：权值量化模块，用于对原始神经网络中的权值进行量化，使移位量化神经网络中的权值均为幂次数据，并重训练所述移位量化神经网络，使所述移位量化神经网络的精度与所述原始神经网络的精度相同；神经元量化模块，用于对所述原始神经网络中的神经元进行量化，使所述移位量化神经网络中神经元均被量化为定点数数据。可减少神经网络的存储开销，提升神经网络的数据处理效率。