部分量化以在边缘装置上实现完全量化模型
摘要:
一种用于部分量化以实现完全量化模型的方法包括量化来自原始机器学习模型(MLM)的多个相应层中的每个层的多个权值和相应激活函数,以生成包括多个冻结经量化权值的经量化MLM。从所述经量化MLM的所述层中的至少一个冻结层提取所述多个冻结经量化权值。依据经更新MLM的至少一个经更新层量化所述多个权值,以生成多个经更新的经量化权值。依据所述原始MLM与所述经更新MLM之间的差异量化所述经更新MLM的所述至少一个经更新层的所述相应激活函数,以形成相应经量化激活函数。依据所述冻结经量化权值、所述经更新的经量化权值和所述相应经量化激活函数生成新的经量化MLM。
0/0