公开(公告)号：CN116205290A

公开(公告)日：2023-06-02

申请号：CN202310499470.6

申请日：2023-05-06

Applicant: 之江实验室

Inventor： 王玉柱 ,  张艾嘉 ,  裘云蕾 ,  段曼妮

IPC: G06N3/096 ,  G06N3/0464 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06V10/74

Abstract: 一种基于中间特征知识融合的知识蒸馏方法和装置，将图像数据喂入教师模型和学生模型，并提取教师模型和学生模型的各阶段中间特征；构建阶段级残差连接，将学生模型某一阶段中间特征与上一阶段特征实现特征知识融合；将教师模型与融合后的学生模型分别经过全局平均池化，构建出语义类别特征向量，对该特征向量计算交叉熵损失，以最大化特征相似性；将学生模型预测输出与类别标签的分类损失与特征向量相似性损失加权求和，训练学生模型。还包括一种基于中间特征知识融合的知识蒸馏系统。本发明相较于现有技术，本发明充分融合教师模型的中间特征知识，知识蒸馏性能更优。