-
公开(公告)号：CN116127119A
公开(公告)日：2023-05-16
申请号：CN202310002357.2
申请日：2023-01-03
Applicant: 华中科技大学
IPC: G06F16/583 , G06V10/44 , G06V10/75 , G06V10/82 , G06N3/0455
Abstract: 本发明公开了一种基于对象规模感知的多标签图像检索方法，其利用感知图像对象规模的哈希质心，构建了一个具有较高检索性能的端到端多标签图像检索方法。本发明提出的方法首先利用Swin Transformer骨干网络作为图像特征提取器，用标签语义信息指导哈希中心点的生成，并提出与对象规模相关的标签亲和度系数的计算方法，二者共同生成包含了对象规模的哈希质心。这些哈希质心作为汉明空间中的锚点，引导多标签图像哈希码不断靠近其对应哈希质心，通过不断的优化基于中心相似性损失函数，使得模型学习到良好的哈希映射关系。本发明使用的哈希质心包含了图像中不同对象的规模信息，结合Swin Transformer骨干网络的强大特征提取能能力，大大提高了图像检索方法的检索性能。
-
公开(公告)号：CN112395438A
公开(公告)日：2021-02-23
申请号：CN202011226768.2
申请日：2020-11-05
Applicant: 华中科技大学
IPC: G06F16/51 , G06F16/583 , G06F16/901 , G06N3/04
Abstract: 本发明公开了一种多标签图像的哈希码生成方法和系统，属于人工智能图像检索领域。本发明首先结合卷积神经网络和图卷积网络分别生成图像表示和标签共现嵌入，然后采用MFB融合这两个模态矢量，最后通过基于柯西分布的损失函数学习哈希模型。通过标签集合中对象的共现概率探索对象之间的相互依赖性，并采用基于注意力机制的多模态双线性合并共现特征与图像特征，提升哈希码度量数据间对象关系的依赖性的能力，进而提升哈希码的性能。使用共现关系和MFB不仅可以提高哈希码的准确性，而且也加速了哈希学习。
-
公开(公告)号：CN112199536A
公开(公告)日：2021-01-08
申请号：CN202011100158.8
申请日：2020-10-15
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于跨模态的快速多标签图像分类方法，该方法可以挖掘图像中不同对象之间的共现关系，进而高效地融合图像特征与标签共现关系来生成一个端到端的多标签图像分类模型。该方法通过统计标签之间的共现概率来模型对象之间的依赖关系，并采用双线性多模态因子池化组件来融合图像特征与标签共现关系，不仅加速了模型的收敛速度而且提升了图像分类性能。本发明提出的方法首先结合卷积神经网络和图卷积网络分别生成图像的特征和标签的共现关系词向量，然后采用MFB融合这两种模态的向量，最后通过多标签分类函数生成端到端的分类模型。本发明高效地融合了图像的特征和标签的共现关系词向量，大大加速了模型的收敛速度。
-
公开(公告)号：CN116049467A
公开(公告)日：2023-05-02
申请号：CN202310086525.0
申请日：2023-01-17
Applicant: 华中科技大学
IPC: G06F16/58 , G06F16/55 , G06F16/51 , G06V10/764 , G06V10/82 , G06V10/74 , G06V10/80 , G06N3/0464 , G06N3/048 , G06N3/0455 , G06N3/084 , G06N3/088
Abstract: 本发明公开了一种基于标签视觉联合感知的无监督图像检索方法，首先获取待检索图像以及图像数据库中的多个图像，使用PIL库将该待检索图像和每个图像分别转换为多维张量，所有多维张量构成多维张量集合，然后将多维张量集合输入预先训练好的检索模型中，以得到待检索图像对应的哈希码，以及每个图像对应的哈希码，针对每个图像对应的哈希码而言，计算其与待检索图像对应的哈希码之间的相似度，其中检索模型包括依次连接的ResNet‑101网络、标签共现嵌入生成网络、视觉相似性嵌入生成网络、双重OGSP网络、自监督网络、以及哈希函数学习网络。本发明能够解决现有无监督多标签图像检索方法无法得到最佳的MAP、进而影响最终检索性能的技术问题。
-
-
-
Search Results
4
records
(took 0.046 seconds)
