公开(公告)号：CN117520589B

公开(公告)日：2024-03-15

申请号：CN202410008193.9

申请日：2024-01-04

申请人： 中国矿业大学 ,  燕园智能科技(徐州)有限公司

发明人： 赵作鹏 ,  缪小然 ,  刘营 ,  高宇蒙 ,  闵冰冰 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  孙守都 ,  宋喷玉

IPC分类号： G06F16/583 ,  G06F16/532 ,  G06F16/383 ,  G06F16/332 ,  G06F18/2113 ,  G06F18/22 ,  G06V20/10 ,  G06V10/42 ,  G06V10/44 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种局部特征与全局特征融合的跨模态遥感图文检索方法，对输入图像进行全局特征提取和局部特征提取后，考虑全局特征与局部特征的差异，通过多级信息特征融合模块动态生成权重、并对两种特征进行加权以更好地表征图像；使用递归神经网络对文本信息进行建模以提取文本时间信息；计算加权融合后图像特征与文本特征之间的相似性度量，按照从大到小顺序对检索结果进行排序；利用候选信息进行反向检索得到最终检索结果。本局部特征与全局特征融合的跨模态遥感图文检索方法能够通过局部信息修正全局信息、利用全局信息补充局部信息，进而能够更准确的检索希望得到的遥感数据。

公开(公告)号：CN117520589A

公开(公告)日：2024-02-06

申请号：CN202410008193.9

申请日：2024-01-04

申请人： 中国矿业大学 ,  燕园智能科技(徐州)有限公司

发明人： 赵作鹏 ,  缪小然 ,  刘营 ,  高宇蒙 ,  闵冰冰 ,  胡建峰 ,  贺晨 ,  赵广明 ,  周杰 ,  孙守都 ,  宋喷玉

IPC分类号： G06F16/583 ,  G06F16/532 ,  G06F16/383 ,  G06F16/332 ,  G06F18/2113 ,  G06F18/22 ,  G06V20/10 ,  G06V10/42 ,  G06V10/44 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82

摘要： 本发明公开了一种局部特征与全局特征融合的跨模态遥感图文检索方法，对输入图像进行全局特征提取和局部特征提取后，考虑全局特征与局部特征的差异，通过多级信息特征融合模块动态生成权重、并对两种特征进行加权以更好地表征图像；使用递归神经网络对文本信息进行建模以提取文本时间信息；计算加权融合后图像特征与文本特征之间的相似性度量，按照从大到小顺序对检索结果进行排序；利用候选信息进行反向检索得到最终检索结果。本局部特征与全局特征融合的跨模态遥感图文检索方法能够通过局部信息修正全局信息、利用全局信息补充局部信息，进而能够更准确的检索希望得到的遥感数据。