提供一种神经网络模型的量化方法和量化神经网络模型的装置。所述量化方法包括：针对神经网络模型中的多个层中的一个或多个层，确定与所述一个或多个层的用于量化的多个最大权重误差分别对应的多个敏感度，其中，所述多个最大权重误差针对神经网络模型被预先配置；基于所述多个敏感度，确定所述多个最大权重误差之中的用于所述一个或多个层的最大权重误差；以及基于用于所述一个或多个层的最大权重误差，将所述一个或多个层的第一数据类型的权重量化为第二数据类型的权重。