面向图像检索的深度强化去冗余哈希方法

    公开(公告)号:CN110188219B

    公开(公告)日:2023-01-06

    申请号:CN201910407916.1

    申请日:2019-05-16

    申请人: 复旦大学

    IPC分类号: G06F16/53 G06N5/04 G06N3/08

    摘要: 本发明属于图像检索技术领域,具体为面向图像检索的深度强化去冗余哈希算法。本发明算法包括:分块哈希码推理,利用图像的标签信息构筑相似性矩阵,然后依照该相似性矩阵推理每幅图像的最优哈希码,其中相似性矩阵较为巨大,采用分块方式进行求解;图像‑哈希码映射,将图像的原始像素信息映射到已推理出的最优哈希码上,这一映射过程利用多分类来实现;哈希码冗余位去除,去除已产生的哈希码中对检索精度没有帮助甚至有害的哈希位,这一过程通过深度强化学习训练一个代理,由该代理来寻找一个最优掩码,从而利用此掩码便可去除冗余的哈希位。本发明训练速度更快,计算开销和存储开销省,检索精度高。

    基于类重激活映射图的弱监督图像目标定位分析系统

    公开(公告)号:CN115311449A

    公开(公告)日:2022-11-08

    申请号:CN202210864306.6

    申请日:2022-07-20

    申请人: 复旦大学

    摘要: 本发明属于图像处理技术领域,具体为基于类重激活映射图的弱监督图像目标定位分析系统。本发明包括:类别上下文特征学习模块、类别映射图重激活模块和类别映射图校准模块。类别上下文特征学习模块使用卷积神经网络对图像特征进行提取,生成初始类别映射图作为索引学习类别上下文特征;类别映射图重激活模块对类别上下文特征作为聚类簇中心,并应用期望最大化算法对图像像素特征聚类,使用隐变量作为类重激活映射图;类别映射图校准模块对类重激活映射图的前背景激活值进行校准,并聚合类别映射图。本发明有效解决了初始类别映射图的前背景激活值混淆问题,使前背景激活值区分度显著,在仅使用图像类别标签作为监督时提升目标定位结果。

    一种面向中文分词的搜索算法

    公开(公告)号:CN108846016B

    公开(公告)日:2021-08-20

    申请号:CN201810422499.3

    申请日:2018-05-05

    申请人: 复旦大学

    IPC分类号: G06F16/953 G06F40/284

    摘要: 本发明属于文本搜索引擎技术领域,具体为一种面向中文分词的搜索算法。本发明算法主要分为两个阶段:离线构建索引阶段和在线查找阶段。在离线构建索引阶段,首先提取所有原始字符串集合的后缀串集合,然后由后缀串集合生成改进的后缀树;在在线查找阶段,首先根据基于后缀树的索引模型得到关键词的查询结果,然后量化关键词和查询结果的匹配程度,最后将查询结果按匹配程序由高到低排序后返回。本发明通过一种改进的基于后缀树的索引结构来平衡索引构建时间和占用空间,使用本发明的索引结构的搜索效率远高于对结果集暴力计算匹配度并排序的效率。

    一种基于深度学习的视频近似拷贝检索算法

    公开(公告)号:CN108763295B

    公开(公告)日:2021-04-30

    申请号:CN201810347069.X

    申请日:2018-04-18

    申请人: 复旦大学

    摘要: 本发明属于图像与视频处理技术领域,具体为一种基于深度学习的视频近似拷贝检索算法。本发明算法分为两个阶段:离线构建索引阶段和在线检索阶段。在离线构建索引阶段,使用深度卷积神经网络提取采样帧的特征值,然后采用k‑d树为视频库内的所有视频采样帧集建立索引;在在线检索阶段,采用同样的方法提取查询视频的采样帧的特征值,并用近似最近邻搜索的方法在索引库中找出与其相似的候选视频,最后计算出所有候选视频与查询视频的相似度,并将相似度由高到低排序后给出近似拷贝检索的结果。本发明可大幅加速整个检索过程,同时可得到候选视频与查询视频的相似可能性以供后续步骤使用,进一步提高了检索速度。

    基于图卷积网络的视频描述生成系统

    公开(公告)号:CN111488807A

    公开(公告)日:2020-08-04

    申请号:CN202010233049.7

    申请日:2020-03-29

    申请人: 复旦大学

    发明人: 张玥杰 肖鑫龙

    IPC分类号: G06K9/00 G06N3/08 G06N3/04

    摘要: 本发明属于跨媒体生成技术领域,具体为基于图卷积网络的视频描述生成系统。本发明的视频描述生成系统包括:视频特征提取网络、图卷积网络、视觉注意力网络、句子描述生成网络;视频特征提取网络对视频进行采样处理,获取视频特征,输出至图卷积网络;图卷积网络对视频特征根据语义关系进行重构,并输入至句子描述生成循环神经网络;句子描述生成网络根据视频重构的特征进行句子生成。本发明采用图卷积对视频中帧级序列和目标级序列特征进行重构,在生成描述语句时充分利用视频内的时序信息和语义信息,使得生成更为精确。这对于视频分析和多模态信息研究具有重要意义,能够提高模型对视频视觉信息的理解能力,具有广泛应用价值。

    基于深度学习的手绘草图图像检索方法

    公开(公告)号:CN106126581B

    公开(公告)日:2019-07-05

    申请号:CN201610442187.X

    申请日:2016-06-20

    申请人: 复旦大学

    IPC分类号: G06F16/583 G06K9/62

    摘要: 本发明属于多媒体信息检索技术领域,具体为基于深度学习的手绘草图图像检索方法。本发明利用边缘轮廓检测技术和非极大值抑制技术实现彩色图像到类草图图像的转换,然后利用深度学习技术来构造查询草图和类草图的深度特征区分性特征表示,这种深度特征融合了图像的高层语义特征和底层视觉特征;这种深度特征在草图检索中表现得更有区分性。通过深度挖掘初次检索结果的视觉信息,抑制检索结果排序靠前的不相关图像,返回更相关的结果给用户。本方法准确性高,适应性强。对于在大规模图像数据基础上,考虑草图的语义信息而进行高效的图像检索具有重要意义,能够减小手绘草图的模糊性的影响,提高检索相关性,增强用户体验,在多媒体图像检索领域具有广泛的应用价值。

    一种面向中文分词的搜索算法

    公开(公告)号:CN108846016A

    公开(公告)日:2018-11-20

    申请号:CN201810422499.3

    申请日:2018-05-05

    申请人: 复旦大学

    IPC分类号: G06F17/30 G06F17/27

    摘要: 本发明属于文本搜索引擎技术领域,具体为一种面向中文分词的搜索算法。本发明算法主要分为两个阶段:离线构建索引阶段和在线查找阶段。在离线构建索引阶段,首先提取所有原始字符串集合的后缀串集合,然后由后缀串集合生成改进的后缀树;在在线查找阶段,首先根据基于后缀树的索引模型得到关键词的查询结果,然后量化关键词和查询结果的匹配程度,最后将查询结果按匹配程序由高到低排序后返回。本发明通过一种改进的基于后缀树的索引结构来平衡索引构建时间和占用空间,使用本发明的索引结构的搜索效率远高于对结果集暴力计算匹配度并排序的效率。

    基于层级神经网络的图像-句子描述生成系统及方法

    公开(公告)号:CN108416065A

    公开(公告)日:2018-08-17

    申请号:CN201810267719.X

    申请日:2018-03-28

    申请人: 复旦大学

    IPC分类号: G06F17/30 G06N3/08

    摘要: 本发明提供基于层级神经网络的图像-句子描述生成系统及方法,本发明提供的基于层级神经网络的图像-句子描述生成系统包括:深度卷积网络、第一深度循环神经网络、第二深度循环神经网络;所述深度卷积网络获取图像,计算图像特征向量在嵌入空间的嵌入向量;并输出到第一深度循环神经网络和第二深度循环神经网络;所述第一深度循环神经网络识别图像中包含的物体,向第二深度循环神经网络输出物体序列;所述第二深度循环神经网络根据所述嵌入向量和物体序列输出描述所述图像的句子。

    一种面向互动电视的手势交互方法和系统

    公开(公告)号:CN103914149B

    公开(公告)日:2017-02-08

    申请号:CN201410128223.6

    申请日:2014-04-01

    申请人: 复旦大学

    IPC分类号: G06F3/01 G06K9/00 G06K9/36

    摘要: 本发明属于人机交互技术领域,具体为一种面向互动电视的手势交互方法和系统。本发明采用简单高效的时域特征提取方法,对加速度信号进行平稳降噪、去冗余和归一化处理,并用SVM进行分类和识别。手势识别结果应用于基于Android平台的机顶盒原型系统,实现用户与电视的实时交互。实验结果表明本发明实现了电视常用手势的准确识别,识别率达到了96%,手势动作的识别时间介于48~63ms。