-
公开(公告)号：CN118193768A
公开(公告)日：2024-06-14
申请号：CN202410377832.9
申请日：2024-03-29
申请人： 山东大学
IPC分类号： G06F16/532 , G06F16/53 , G06V20/70 , G06V10/82 , G06V10/42 , G06V10/44 , G06N3/0499 , G06N3/09
摘要： 本发明提供了一种基于细粒度文本反转的多模态组合式图像检索方法及系统，获取参考图像和修改文本；利用预训练后的细粒度文本反转网络，将参考图像映射为面向主体的伪词标记和面向属性的伪词标记，并和修改文本拼接得到文本形式的组合查询，利用所述组合查询的表示向量与目标图像向量之间的余弦相似度作为检索的依据，以检索对应的图片。本发明基于图像的全局特征和局部特征分别得到面向主体的伪词标记和面向属性的伪词标记，并利用不同的基于标题的语义正则约束来规范伪词标记，实现更加高效精准的检索效果。
-
-
公开(公告)号：CN118193769A
公开(公告)日：2024-06-14
申请号：CN202410377835.2
申请日：2024-03-29
申请人： 山东大学
IPC分类号： G06F16/532 , G06F16/583 , G06V20/70 , G06V10/80 , G06F40/279
摘要： 本发明提供了一种组合式图像检索方法、系统、介质及设备，分别在原始数据层面进行多模态融合操作，得到图像形式的查询条件以及文本形式的查询条件，通过线性操作，将上述图像形式的查询条件和文本形式的查询条件进行融合，用于目标图像检索。本发明将多模态融合从现有方法的特征层面转移到原始数据层面，能够实现更优的多模态组合式图像检索效果，可根据多模态查询进行图像检索，包括参考图像以及对参考图像进行修改的文本描述，以检索到满足要求的图像。
-
公开(公告)号：CN117009571A
公开(公告)日：2023-11-07
申请号：CN202310980937.9
申请日：2023-08-04
申请人： 山东大学
IPC分类号： G06F16/583 , G06F16/55 , G06F18/213 , G06F18/25 , G06F18/241 , G06F18/22 , G06N3/096
摘要： 本发明属于图像信息检索技术领域，提供了一种目标引导的多模态组合式图像检索方法级系统，其方案为：包括属性特征提取模块，目标‑查询关系引导的多模态融合模块，以及目标相似度分布引导的度量学习模块。其中，属性特征提取模块可对参考图像、修改文本、以及目标图像提取统一的属性特征。而后两个模块则利用目标图像信息作为引导，分别进行多模态融合和度量学习，取得了出色的多模态组合式图像检索性能。
-
公开(公告)号：CN113239219B
公开(公告)日：2022-05-20
申请号：CN202110516225.2
申请日：2021-05-12
申请人： 山东大学 , 河钢数字技术股份有限公司
IPC分类号： G06F16/532 , G06F16/535 , G06F16/583 , G06N3/04
摘要： 本发明提供了一种基于多模态查询的图像检索方法、系统、介质及设备，对参考图像、目标图像和修改文本进行编码，得到图像和文本的局部和全局中间表示；图像和文本的局部中间表示进行细粒度局部组合，图像和文本的全局中间表示经过细粒度全局组合，将局部网络和全局网络进行互学习增强，将局部和全局的参考图像修改表示进行融合，局部和全局的目标图像表示进行相似的融合操作，根据融合之后二者的相似度为依据检索到对应的目标图像，有助于提高图像检索的准确性。
-
公开(公告)号：CN113239219A
公开(公告)日：2021-08-10
申请号：CN202110516225.2
申请日：2021-05-12
申请人： 山东大学 , 河钢数字技术股份有限公司
IPC分类号： G06F16/532 , G06F16/535 , G06F16/583 , G06N3/04
摘要： 本发明提供了一种基于多模态查询的图像检索方法、系统、介质及设备，对参考图像、目标图像和修改文本进行编码，得到图像和文本的局部和全局中间表示；图像和文本的局部中间表示进行细粒度局部组合，图像和文本的全局中间表示经过细粒度全局组合，将局部网络和全局网络进行互学习增强，将局部和全局的参考图像修改表示进行融合，局部和全局的目标图像表示进行相似的融合操作，根据融合之后二者的相似度为依据检索到对应的目标图像，有助于提高图像检索的准确性。
-
-
-
-
-
-
搜索结果
7 条记录 (耗时 0.02 秒)
