发明公开
- 专利标题: 基于子空间适应性间距的跨模态检索方法及存储介质
-
申请号: CN202210277795.5申请日: 2022-03-21
-
公开(公告)号: CN114691986A公开(公告)日: 2022-07-01
- 发明人: 徐田园 , 刘学亮 , 洪日昌 , 汪萌 , 楚喻棋
- 申请人: 合肥工业大学
- 申请人地址: 安徽省合肥市包河区屯溪路193号
- 专利权人: 合肥工业大学
- 当前专利权人: 合肥工业大学
- 当前专利权人地址: 安徽省合肥市包河区屯溪路193号
- 代理机构: 合肥天明专利事务所
- 代理商 苗娟
- 主分类号: G06F16/9535
- IPC分类号: G06F16/9535 ; G06F16/435 ; G06F16/48 ; G06N3/04 ; G06N3/08
摘要:
本发明的一种基于子空间适应性间距的跨模态检索方法及存储介质,包括以下步骤,数据预处理,进行训练集测试集数据划分,并提取数据的原始高维特征;输入原始高维特征到网络模型获取图像文本的公共特征和对应的预测标签信息;使用公共特征和标签信息计算每种模态不同类别样本的适应性间距损失,然后结合注意力机制聚焦图片和文本中类别信息用于增强不同类别的判别性,最后计算不同模态之间的不变性损失;再通过反向传播对损失函数进行优化去迭代网络模型至收敛;使用收敛的网络模型计算所有图像文本的公共特征;最后对查询数据特征与公共特征进行相似度计算并排序返回结果。采用本发明进行跨模态检索的精度高于现有方法进行跨模态检索的精度。