发明公开
- 专利标题: 部分量化以在边缘装置上实现完全量化模型
-
申请号: CN202310532613.9申请日: 2023-05-11
-
公开(公告)号: CN118940792A公开(公告)日: 2024-11-12
- 发明人: 马尼什·库马尔·马贾吉 , 焦彬
- 申请人: 恩智浦美国有限公司
- 申请人地址: 美国德克萨斯州
- 专利权人: 恩智浦美国有限公司
- 当前专利权人: 恩智浦美国有限公司
- 当前专利权人地址: 美国德克萨斯州
- 代理机构: 中科专利商标代理有限责任公司
- 代理商 纪雯; 李敬文
- 主分类号: G06N3/04
- IPC分类号: G06N3/04 ; G06N3/048 ; G06N3/096
摘要:
一种用于部分量化以实现完全量化模型的方法包括量化来自原始机器学习模型(MLM)的多个相应层中的每个层的多个权值和相应激活函数,以生成包括多个冻结经量化权值的经量化MLM。从所述经量化MLM的所述层中的至少一个冻结层提取所述多个冻结经量化权值。依据经更新MLM的至少一个经更新层量化所述多个权值,以生成多个经更新的经量化权值。依据所述原始MLM与所述经更新MLM之间的差异量化所述经更新MLM的所述至少一个经更新层的所述相应激活函数,以形成相应经量化激活函数。依据所述冻结经量化权值、所述经更新的经量化权值和所述相应经量化激活函数生成新的经量化MLM。