- 专利标题: 面向电力场景边缘计算大模型压缩的知识蒸馏与量化方法
-
申请号: CN202211140194.6申请日: 2022-09-20
-
公开(公告)号: CN115223049B公开(公告)日: 2022-12-13
- 发明人: 聂礼强 , 甘甜 , 关惟俐 , 郑晓云 , 翟永杰 , 赵砚青 , 罗旺 , 陈雨涛 , 高赞
- 申请人: 山东大学 , 国网浙江省电力有限公司温州供电公司 , 华北电力大学(保定) , 智洋创新科技股份有限公司 , 南瑞集团有限公司 , 山东省计算中心(国家超级计算济南中心)
- 申请人地址: 山东省济南市山大南路27号; ; ; ; ;
- 专利权人: 山东大学,国网浙江省电力有限公司温州供电公司,华北电力大学(保定),智洋创新科技股份有限公司,南瑞集团有限公司,山东省计算中心(国家超级计算济南中心)
- 当前专利权人: 山东大学,国网浙江省电力有限公司温州供电公司,华北电力大学(保定),智洋创新科技股份有限公司,南瑞集团有限公司,山东省计算中心(国家超级计算济南中心)
- 当前专利权人地址: 山东省济南市山大南路27号; ; ; ; ;
- 代理机构: 山东知圣律师事务所
- 代理商 丁奎英
- 主分类号: G06V20/10
- IPC分类号: G06V20/10 ; G06V10/74 ; G06V10/774 ; G06V10/82 ; G06N3/08
摘要:
本发明属于压缩技术领域,具体提供了一种面向电力场景边缘计算大模型压缩的知识蒸馏与量化方法。其包括以下步骤:电力场景任务抽象;双层知识蒸馏网络单元构建;教师模型修饰处理;主从教师监督框架:基于教师‑学生蒸馏网络,使用多个数据集训练不同的教师模型,包括与目标任务类似的场景数据集和实际落地场景的数据集,将这些数据集进行划分,训练多个教师模型,按照数据集与落地场景相似度分配指导权重,分为主教师模型和若干个从教师模型,从而对学生模型进行不同层面的知识引导,提高学生模型在复杂场景下的泛化能力;学生模型压缩感知训练。
公开/授权文献
- CN115223049A 面向电力场景边缘计算大模型压缩的知识蒸馏与量化技术 公开/授权日:2022-10-21