一种基于师生协同的知识蒸馏方法

    公开(公告)号:CN114611670A

    公开(公告)日:2022-06-10

    申请号:CN202210254811.9

    申请日:2022-03-15

    IPC分类号: G06N3/04 G06N3/08 G06Q50/20

    摘要: 本发明涉及知识蒸馏技术领域,具体涉及一种基于师生协同的知识蒸馏方法,包括:构建经过预先训练的教师网络以及具有多层级的分支输出的学生网络;将训练数据分别输入教师网络和学生网络,得到教师网络输出的概率分布以及各个分支输出的概率分布和特征;计算各个分支的知识蒸馏损失和自蒸馏损失;然后通过各个分支的知识蒸馏损失和自蒸馏损失计算对应的整体损失函数,并更新学生网络的参数;对学生网络各个分支输出的概率分布进行融合,得到对应的最终概率分布;重复上述步骤,直至学生网络训练至收敛。本发明能够通过教师网络和学生网络自身来协同优化和训练学生网络,使得不增加教师网络的复杂度并能够基于学生网络的输出进行自监督和自学习。