公开(公告)号：CN114782776B

公开(公告)日：2022-12-13

申请号：CN202210412270.8

申请日：2022-04-19

Applicant: 中国矿业大学

Inventor： 王军 ,  袁静波 ,  刘新旺 ,  李玉莲 ,  李兵

IPC: G06V10/774 ,  G06V10/776 ,  G06V10/778 ,  G06V10/82 ,  G06V10/74 ,  G06V10/772 ,  G06N3/08 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明公开了一种基于MoCo模型的多模块知识蒸馏方法，利用中间过程中生成的特征间具有相似度这一特点，将教师和学生网络各自分成对应的多个模块，通过MoCo模型提取到教师和学生网络的每个模块生成的特征计算相似度，利用相似度达到教师网络指导学生网络的目的。本发明可以在只有少量标签的基础上，自动地对样本特征进行动态更新，此方法的内存效率更高，解决了在有限内存的情况下训练大规模数据集的问题，使教师网络指导下的学生网络有鲁棒性的同时，兼具泛化性。

公开(公告)号：CN114782776A

公开(公告)日：2022-07-22

申请号：CN202210412270.8

申请日：2022-04-19

Applicant: 中国矿业大学

Inventor： 王军 ,  袁静波 ,  刘新旺 ,  李玉莲 ,  李兵

IPC: G06V10/774 ,  G06V10/776 ,  G06V10/778 ,  G06V10/82 ,  G06V10/74 ,  G06V10/772 ,  G06N3/08 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明公开了一种基于MoCo模型的多模块知识蒸馏方法，利用中间过程中生成的特征间具有相似度这一特点，将教师和学生网络各自分成对应的多个模块，通过MoCo模型提取到教师和学生网络的每个模块生成的特征计算相似度，利用相似度达到教师网络指导学生网络的目的。本发明可以在只有少量标签的基础上，自动地对样本特征进行动态更新，此方法的内存效率更高，解决了在有限内存的情况下训练大规模数据集的问题，使教师网络指导下的学生网络有鲁棒性的同时，兼具泛化性。