定点化的神经网络模型量化装置和方法
摘要:
本申请涉及一种定点化的神经网络模型量化方法和装置。包括以下步骤:校验阶段:校验图模型为有向无环图,多输入图模型转换为单输入模型;准备阶段:将图模型进行等价转换便于后续量化;标度阶段:输入所有样本,在浮点模型中执行,统计模型内部各算子的输出,根据输出数据的特征预测全部样本中算子可能的输出域值;量化阶段:将模型按照拓扑排序对算子进行定点化转换。本申请能够有效降低模型的存储和计算开销,消除浮点运算中的舍入误差带来的不确定性,提高深度神经网络模型的高效性、透明性和安全性。
公开/授权文献
0/0