一种类级别对比学习的弱监督文本行人检索方法及系统
摘要:
本申请属于图像处理领域,尤其涉及一种类级别对比学习的弱监督文本行人检索方法及系统,用于包括但不限于电梯、街道、商场等一切具有行人的场景,通过输入自然语言描述对行人图像或视频进行检索,该方法采用CLIP的预训练模型来提取图像和文本的特征,并使用了离异样本挖掘算法来挖掘其中有价值的聚类离异样本。之后根据聚类ID构建类级别的多模态记忆模块,该模块在训练过程中会动态更新。训练时,混合级别的跨模态匹配模块从类级别和实例级别两个角度拉近同类图像和文本之间的距离,推远不同类图像和文本之间的距离。本发明大幅度提高了弱监督条件下文本行人检索的准确率。
0/0