基于图文语义嵌入的图文检索方法及系统
摘要:
本发明公开了一种基于图文语义嵌入的图文检索方法及系统,属于多模态深度学习领域,方法包括:利用图文语义嵌入模型对待检索目标以及数据库中各相应的待匹配对象进行特征提取;特征提取包括:图像侧特征嵌入网络以分组卷积的方式对图像进行特征提取,通过动态最大最小池化对提取到的图像特征进行编码,对编码结果进行标准化处理得到图像特征嵌入向量;文本侧特征嵌入网络对文本进行特征提取,得到文本特征嵌入向量;对图像特征嵌入向量和文本特征嵌入向量进行向量拼接与交叉后输入联合嵌入网络,以得到相应图像文本对的相似度;将相似度最高的预设数量个待匹配对象作为检索结果,并输出检索结果及相应的相似度。
公开/授权文献
0/0