公开(公告)号：CN117636038A

公开(公告)日：2024-03-01

申请号：CN202311649881.5

申请日：2023-12-01

申请人： 福建亿榕信息技术有限公司 ,  国网信息通信产业集团有限公司

发明人： 常胜 ,  胡杰 ,  李强 ,  庄莉 ,  梁懿 ,  王秋琳 ,  陈锴

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06N3/084

摘要： 本申请涉及一种目标检测模型动态蒸馏训练方法及装置，涉及深度学习模型优化技术领域，该方法包括以下步骤：利用学生模型及教师模型，对训练图片进行推理，获得各自的预测输出数据；基于学生模型的预测输出数据及训练图片的图片标签，获得学生模型的常规损失函数；筛选获得教师模型的高质量预测输出数据；计算教师模型的高质量预测输出数据和学生模型的预测输出数据之间的蒸馏损失函数；基于蒸馏损失函数及常规损失函数，获得学生模型的总损失函数，并以此训练学生模型。本申请基于大模型高质量的输出动态蒸馏小模型的技术原理，进行模型训练，在检测精度与推理速度之间实现较好的平衡，有效减少工业场景部署目标检测模型所需的人力和训练成本。