一种基于蒸馏CLIP模型的生成式零样本目标检测方法及系统
摘要:
本发明公开了一种基于蒸馏CLIP模型的生成式零样本目标检测方法及系统,方法包括:基于基准模型和训练集执行训练流程,得到训练好的有监督目标检测模型;将训练集输入训练后冻结参数的基准模型,提取已见类视觉特征,并将已见类和未见类的类别信息分别输入CLIP模型,获得类语义嵌入;通过离线知识蒸馏的方式,使用CLIP模型编码已见类语义嵌入和已见类视觉特征,通过蒸馏模块实现CLIP模型对生成模型的知识转移,训练未见类的分类头,并入训练好的基准模型的分类器中;利用修改后的基准模型即可得到输入图片的定位和分类结果。本发明以优化未见类视觉特征生成的方式实现对零样本目标检测精度的提高化,提升了零样本目标检测的性能。
0/0