公开(公告)号：CN113590867B

公开(公告)日：2024-02-09

申请号：CN202110893943.1

申请日：2021-08-05

Applicant: 西安电子科技大学

Inventor： 王笛 ,  田玉敏 ,  王泉 ,  丁阿强 ,  万波 ,  罗雪梅 ,  王义峰

IPC: G06F16/583 ,  G06F18/214 ,  G06F18/241 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于分层度量学习的跨模态信息检索方法，其实现步骤为：(1)建立训练集；(2)构建分层度量学习网络；(3)训练分层度量学习网络；(4)利用图像检索文本；(5)利用文本检索图像。本发明构建了与标签层数相等的多个分层度量学习子网络组成分层度量学习网络，采用了特征嵌入模块对图像样本和文本样本进行实值特征表示学习，使得最终分层度量学习网络学习到的特征能包含层次标签的所有标签信息，学习到的图像特征和文本特征具有更高的数值精度，提高了跨模态信息检索的精度，增强了跨模态信息检索过程中数据特征结构的稳定性。

公开(公告)号：CN113590867A

公开(公告)日：2021-11-02

申请号：CN202110893943.1

申请日：2021-08-05

Applicant: 西安电子科技大学

Inventor： 王笛 ,  田玉敏 ,  王泉 ,  丁阿强 ,  万波 ,  罗雪梅 ,  王义峰

IPC: G06F16/583 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于分层度量学习的跨模态信息检索方法，其实现步骤为：(1)建立训练集；(2)构建分层度量学习网络；(3)训练分层度量学习网络；(4)利用图像检索文本；(5)利用文本检索图像。本发明构建了与标签层数相等的多个分层度量学习子网络组成分层度量学习网络，采用了特征嵌入模块对图像样本和文本样本进行实值特征表示学习，使得最终分层度量学习网络学习到的特征能包含层次标签的所有标签信息，学习到的图像特征和文本特征具有更高的数值精度，提高了跨模态信息检索的精度，增强了跨模态信息检索过程中数据特征结构的稳定性。