- 专利标题: 一种类级别对比学习的弱监督文本行人检索方法及系统
-
申请号: CN202311204550.0申请日: 2023-09-19
-
公开(公告)号: CN116935329B公开(公告)日: 2023-12-01
- 发明人: 郑艳伟 , 赵新鹏 , 王鹏 , 孙恩涛 , 杜超 , 于东晓
- 申请人: 山东大学 , 上海新时达电气股份有限公司
- 申请人地址: 山东省青岛市即墨区滨海路72号
- 专利权人: 山东大学,上海新时达电气股份有限公司
- 当前专利权人: 山东大学,上海新时达电气股份有限公司
- 当前专利权人地址: 山东省青岛市即墨区滨海路72号
- 代理机构: 青岛华慧泽专利代理事务所
- 代理商 付秀颖
- 主分类号: G06V20/52
- IPC分类号: G06V20/52 ; G06V20/40 ; G06V10/762 ; G06V10/774 ; G06V10/75
摘要:
本申请属于图像处理领域,尤其涉及一种类级别对比学习的弱监督文本行人检索方法及系统,用于包括但不限于电梯、街道、商场等一切具有行人的场景,通过输入自然语言描述对行人图像或视频进行检索,该方法采用CLIP的预训练模型来提取图像和文本的特征,并使用了离异样本挖掘算法来挖掘其中有价值的聚类离异样本。之后根据聚类ID构建类级别的多模态记忆模块,该模块在训练过程中会动态更新。训练时,混合级别的跨模态匹配模块从类级别和实例级别两个角度拉近同类图像和文本之间的距离,推远不同类图像和文本之间的距离。本发明大幅度提高了弱监督条件下文本行人检索的准确率。
公开/授权文献
- CN116935329A 一种类级别对比学习的弱监督文本行人检索方法及系统 公开/授权日:2023-10-24