发明授权
- 专利标题: 基于图文语义嵌入的图文检索方法及系统
-
申请号: CN202210231146.1申请日: 2022-03-09
-
公开(公告)号: CN114741487B公开(公告)日: 2024-07-19
- 发明人: 邹腊梅 , 乔森 , 连志祥 , 李广磊 , 严青 , 王皓 , 谢佳
- 申请人: 华中科技大学
- 申请人地址: 湖北省武汉市洪山区珞喻路1037号
- 专利权人: 华中科技大学
- 当前专利权人: 华中科技大学
- 当前专利权人地址: 湖北省武汉市洪山区珞喻路1037号
- 代理机构: 华中科技大学专利中心
- 代理商 彭军芬
- 主分类号: G06F16/332
- IPC分类号: G06F16/332 ; G06F16/33 ; G06F16/532 ; G06F16/583 ; G06N3/0464
摘要:
本发明公开了一种基于图文语义嵌入的图文检索方法及系统,属于多模态深度学习领域,方法包括:利用图文语义嵌入模型对待检索目标以及数据库中各相应的待匹配对象进行特征提取;特征提取包括:图像侧特征嵌入网络以分组卷积的方式对图像进行特征提取,通过动态最大最小池化对提取到的图像特征进行编码,对编码结果进行标准化处理得到图像特征嵌入向量;文本侧特征嵌入网络对文本进行特征提取,得到文本特征嵌入向量;对图像特征嵌入向量和文本特征嵌入向量进行向量拼接与交叉后输入联合嵌入网络,以得到相应图像文本对的相似度;将相似度最高的预设数量个待匹配对象作为检索结果,并输出检索结果及相应的相似度。
公开/授权文献
- CN114741487A 基于图文语义嵌入的图文检索方法及系统 公开/授权日:2022-07-12