-
公开(公告)号：CN112860930B
公开(公告)日：2022-09-16
申请号：CN202110185623.0
申请日：2021-02-10
Applicant: 浙江大学
IPC: G06F16/532 , G06F16/583 , G06V10/40 , G06V10/74 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于层次化相似性学习的文本到商品图像的检索方法，该方法通过预训练的目标检测模型和利用独热编码以及预训练的Word2Vec获取图像和文本的初步特征，再通过两个层次化编码网络分别对两种模态进行层次化编码。通过全连接层将特征映射到一个统一公共空间中，进行两种不同粒度的相似性度量，分别是物体粒度的相似性和图像粒度的相似性，最后利用公共空间算法学习两个模态之间的关系，通过端到端的方式训练模型，自动学习文本和图像的匹配关系，从而实现文本到图像的跨模态检索。本发明针对复杂的商品图像，应用多层次的特征以及多粒度的相似性来进行跨模态检索，具有优越的性能优势，并且利用深度学习技术，极大提高了检索的性能和效率。
-
公开(公告)号：CN119048879A
公开(公告)日：2024-11-29
申请号：CN202411077370.5
申请日：2024-08-07
Applicant: 浙江大学
IPC: G06V10/82 , G06V10/764 , G06V10/44 , G06N3/0464 , G06N3/045 , G06N3/044 , G06N3/049 , G06N3/084 , G06N3/0985 , G06N7/01
Abstract: 本发明公开了一种结合滑动窗口的液体状态机设计方法，包括：(1)获取图像数据集，对图像数据预处理后作为训练数据，进行脉冲编码转换后得到脉冲信号；(2)构建结合滑动窗口的液体状态机模型，具体如下：从液体层中选取需与输入层神经元建立连接的神经元；通过滑动窗口的方式构建输入层神经元到所选液体层神经元的连接；建立液体层神经元内部连接；通过可训练输出层实现数据分类；(3)基于训练数据，通过贝叶斯优化技术自动调整液体状态机的关键参数，寻找一组较优的参数设置，以优化模型的分类性能；(4)将待分类的图像进行数据处理后输入训练好的模型，得到相应分类结果。利用本发明，可以提高图像分类的准确性。
-
公开(公告)号：CN114625924B
公开(公告)日：2022-08-26
申请号：CN202210529260.2
申请日：2022-05-16
Applicant: 浙江大学
IPC: G06F16/783 , G06F16/71 , G06V20/40 , G06V10/74 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08 , G06K9/62
Abstract: 本发明公开了一种基于多视觉专家知识蒸馏的侵权视频检索方法及系统，属于侵权视频检索技术领域。该方法包括：首先通过预训练的视觉模型获取视频的初始特征，然后通过在目标数据集上对视频的初始特征进行编码训练，得到具有更强任务适应性的视频特征表示。接着设计知识融合方法将多种基础检索模型的知识进行融合，融合后的知识通过知识蒸馏的方式迁移到蒸馏检索模型中。最终得到的融合了多位专家知识的蒸馏检索模型具有更高的计算效率和更加优越的性能。本发明利用深度学习技术和知识蒸馏技术，能够实现高效鲁棒的侵权视频检索，在很大程度上提高了侵权视频检索的性能和效率。
-
公开(公告)号：CN114625924A
公开(公告)日：2022-06-14
申请号：CN202210529260.2
申请日：2022-05-16
Applicant: 浙江大学
IPC: G06F16/783 , G06F16/71 , G06V20/40 , G06V10/74 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/04 , G06N3/08 , G06K9/62
Abstract: 本发明公开了一种基于多视觉专家知识蒸馏的侵权视频检索方法及系统，属于侵权视频检索技术领域。该方法包括：首先通过预训练的视觉模型获取视频的初始特征，然后通过在目标数据集上对视频的初始特征进行编码训练，得到具有更强任务适应性的视频特征表示。接着设计知识融合方法将多种基础检索模型的知识进行融合，融合后的知识通过知识蒸馏的方式迁移到蒸馏检索模型中。最终得到的融合了多位专家知识的蒸馏检索模型具有更高的计算效率和更加优越的性能。本发明利用深度学习技术和知识蒸馏技术，能够实现高效鲁棒的侵权视频检索，在很大程度上提高了侵权视频检索的性能和效率。
-
公开(公告)号：CN112860930A
公开(公告)日：2021-05-28
申请号：CN202110185623.0
申请日：2021-02-10
Applicant: 浙江大学
IPC: G06F16/532 , G06F16/583 , G06K9/46 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于层次化相似性学习的文本到商品图像的检索方法，该方法通过预训练的目标检测模型和利用独热编码以及预训练的Word2Vec获取图像和文本的初步特征，再通过两个层次化编码网络分别对两种模态进行层次化编码。通过全连接层将特征映射到一个统一公共空间中，进行两种不同粒度的相似性度量，分别是物体粒度的相似性和图像粒度的相似性，最后利用公共空间算法学习两个模态之间的关系，通过端到端的方式训练模型，自动学习文本和图像的匹配关系，从而实现文本到图像的跨模态检索。本发明针对复杂的商品图像，应用多层次的特征以及多粒度的相似性来进行跨模态检索，具有优越的性能优势，并且利用深度学习技术，极大提高了检索的性能和效率。
