公开(公告)号：CN115982403A

公开(公告)日：2023-04-18

申请号：CN202310085564.9

申请日：2023-01-12

Applicant: 之江实验室

Inventor： 朱健 ,  陈光 ,  曾令仿 ,  程永利 ,  张云云 ,  张莹 ,  崔钰 ,  吴洵进

IPC: G06F16/583 ,  G06F16/55 ,  G06F16/51 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/09

Abstract: 本发明公开了一种多模态哈希检索方法及装置，该方法包括：获取带有标签的训练数据集；构建带有Transformer Encoder模块的多模态神经网络；根据所述训练数据集中的每个多模态数据经过所述多模态神经网络生成的哈希码与该多模态数据对应的标签，设计目标损失函数；根据所述目标损失函数，采用梯度下降法更新所述多模态神经网络的参数，以训练所述多模态神经网络；获取多模态原始数据并对所述多模态原始数据进行特征工程加工；将加工后的多模态原始数据输入训练后的多模态神经网络中，生成多模态哈希码；利用所述多模态哈希码，进行哈希检索。该方法使用Transformer网络实现多模态特征融合，与单模态哈希表示学习相比，检索的平均准确率(mAP)更高。

公开(公告)号：CN114758035B

公开(公告)日：2022-09-27

申请号：CN202210661703.3

申请日：2022-06-13

Applicant: 之江实验室

Inventor： 张丽颖 ,  陈光 ,  朱世强 ,  曾令仿 ,  程永利 ,  陈兰香 ,  李勇 ,  张云云 ,  朱健

IPC: G06T11/20 ,  G06N3/04 ,  G06N3/08 ,  G06V10/82 ,  G06V10/774 ,  G06K9/62

Abstract: 本发明公开了一种针对未配对数据集的图像生成方法及装置，该方法包括：对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型；将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型；获取未配对数据集；将所述未配对数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成数据集和第二生成数据集；将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。

公开(公告)号：CN114896434A

公开(公告)日：2022-08-12

申请号：CN202210821230.9

申请日：2022-07-13

Applicant: 之江实验室

Inventor： 朱健 ,  张云云 ,  陈光 ,  曾令仿 ,  程宏才 ,  程永利 ,  李勇 ,  陈兰香

IPC: G06F16/51 ,  G06F16/58 ,  G06F16/583 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于中心相似度学习的哈希码生成方法及装置，该方法包括：获取带有标签的训练数据集；利用哈达玛矩阵，为所述训练数据集中相同标签的数据构造一个共享的哈希中心，从而得到若干哈希中心；根据所述训练数据集中的样本经过多模态神经网络生成的哈希码与该数据对应的哈希中心之间的距离，计算得到中心相似性学习的目标损失函数；根据所述中心相似性学习的目标损失函数，训练多模态神经网络；获取多模态数据并对所述多模态数据进行预处理；将预处理后的多模态数据输入训练后的多模态神经网络中，生成多模态哈希码。