面向电力场景边缘计算大模型压缩的知识蒸馏与量化方法
摘要:
本发明属于压缩技术领域,具体提供了一种面向电力场景边缘计算大模型压缩的知识蒸馏与量化方法。其包括以下步骤:电力场景任务抽象;双层知识蒸馏网络单元构建;教师模型修饰处理;主从教师监督框架:基于教师‑学生蒸馏网络,使用多个数据集训练不同的教师模型,包括与目标任务类似的场景数据集和实际落地场景的数据集,将这些数据集进行划分,训练多个教师模型,按照数据集与落地场景相似度分配指导权重,分为主教师模型和若干个从教师模型,从而对学生模型进行不同层面的知识引导,提高学生模型在复杂场景下的泛化能力;学生模型压缩感知训练。
0/0