一种基于渐进式重建的高效自监督学习方法及系统

    公开(公告)号:CN118781219A

    公开(公告)日:2024-10-15

    申请号:CN202410801743.2

    申请日:2024-06-20

    申请人: 南开大学

    摘要: 本发明公开了一种基于渐进式重建的高效自监督学习方法及系统,其中方法,包括:获取待重建图像,将待重建图像划分为若干个不重叠的图像块;将待重建图像的所有图像块,输入到训练后的神经网络模型中,得到重建后的图像;其中,训练后的神经网络模型,编码器用于提取所有图像块的特征,所述图像块特征包括:被遮蔽图像块的特征和未被遮蔽图像块的特征,所述最远采样模块对被遮蔽图像块的特征进行选择性地丢弃或保留,所述解码器对被遮蔽图像块的保留特征和未被遮蔽图像块的特征进行重建,得到第一重建图像;所述渐进式重建模块对被遮蔽图像块的丢弃特征进行重建,得到第二重建图像;将第一和第二重建图像进行整合,得到最终重建后的图像。

    RGBD显著性检测方法以及相关装置

    公开(公告)号:CN111832592B

    公开(公告)日:2023-10-24

    申请号:CN201910328103.3

    申请日:2019-04-20

    摘要: 本申请提供了RGBD显著性检测方法及装置,方法包括:将RGB图像和深度图像导入到含多个特征提取模块和多个特征强化模块的神经网络模型处理,获得多个跨模态特征图;其中任意的特征提取模块用于对输入数据进行特征提取以获得该特征提取模块的处理结果;其中任意的特征强化模块用于对深度图像进行特征提取获得深度对比度增强图,并利用其优化特征提取模块的处理结果,以获得该特征强化模块的跨模态特征图。最后,利用金字塔模型对多个跨模态特征图进行融合获得显著性检测的检测结果图。实施本申请有利于在低对比度等复杂场景下取得较好的显著性检测效果。

    基于增强表现力神经网络批归一化的图像表征方法及系统

    公开(公告)号:CN112541857B

    公开(公告)日:2022-09-16

    申请号:CN202011551847.0

    申请日:2020-12-24

    申请人: 南开大学

    IPC分类号: G06T3/00 G06T3/60 G06N3/04

    摘要: 本发明公开了基于增强表现力神经网络批归一化的图像表征方法及系统,包括:获取目标图像;提取目标图像的特征;对目标图像的特征进行居中校准,得到居中校准后的结果;对居中校准后的结果进行居中归一化处理,得到居中归一化结果;对居中归一化结果进行缩放归一化处理,得到缩放归一化结果;对缩放归一化结果进行缩放校准,得到缩放校准结果;对缩放校准结果进行仿射变换,得到输出特征;基于输出特征对图像进行表征。本申请通过对神经网络模型采用改进的批归一化方式,实现对图像的精确表征。

    基于集中式信息交互的显著性目标检测方法及系统

    公开(公告)号:CN112507933B

    公开(公告)日:2022-09-16

    申请号:CN202011490199.2

    申请日:2020-12-16

    申请人: 南开大学

    摘要: 本发明公开了基于集中式信息交互的显著性目标检测方法及系统,包括:获取待检测图像;将待检测图像,输入训练后的显著性目标检测神经网络,得到待检测图像中的显著性目标。改进了U型结构中自底向上和自顶向下的路径之间的联系,通过集中式信息交互手段使得从自底向上网络中提取的特征在不进行任何插值操作的前提下实现跨尺度的信息交互,这样可以突破现有显著性目标检测方法中跨尺度无信息交互的缺点,同时避免了插值操作带来的负面影响。

    基于图像间语义辅助的个性化图像分割方法及系统

    公开(公告)号:CN112381831B

    公开(公告)日:2022-08-16

    申请号:CN202011353724.6

    申请日:2020-11-26

    申请人: 南开大学

    摘要: 本申请公开了基于图像间语义辅助的个性化图像分割方法及系统,获取当前用户的若干幅无标注图像和非当前用户的若干幅有标注图像;对当前用户的每幅无标注图像进行特征提取,得到每幅无标注图像的图像特征;依据当前用户的每幅无标注图像的图像特征,基于聚类算法,得到若干个无标注图像组合;将所有的无标注图像组合和所有的有标注图像组合,按照标注的有无,交替输入到深度神经网络中,对深度神经网络进行初步训练,得到初步训练后的深度神经网络;在初步训练的过程中,基于每个组合的图像间语义信息辅助实现图像的分割;基于初步训练后的深度神经网络,对当前用户的新图像组合进行分割,得到分割结果。

    图像显著性物体检测方法和装置

    公开(公告)号:CN109118459B

    公开(公告)日:2022-07-19

    申请号:CN201710488970.4

    申请日:2017-06-23

    摘要: 本申请提供了一种图像显著性物体检测方法与装置。该方法包括:分别对待处理图像进行至少两个卷积层对应的卷积处理,得到待处理图像的至少两个第一特征图,至少两个第一特征图的分辨率小于待处理图像的分辨率,至少两个第一特征图中的任意两个第一特征图的分辨率不同;对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,从而得到待处理图像的至少两个第二特征图,其中,至少两个集合分别对应不同的分辨率,至少两个集合与至少两个第二特征图一一对应,叠加集合中包含的第一特征图的分辨率小于等于叠加集合对应的第二特征图的分辨率;对至少两个第二特征图拼接,得到显著性图。本申请能提高显著性物体检测的效果。

    一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备

    公开(公告)号:CN112861931B

    公开(公告)日:2022-04-12

    申请号:CN202110083681.2

    申请日:2021-01-21

    申请人: 南开大学

    摘要: 本公开提供了一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备,基于多时序图像融合技术,由自底向上网络、差异引导的注意力模块、自顶向下网络构成,差异引导的注意力模块包含两个串联的分支,分别是双时序聚合分支和差异注意力分支,前者用于学习双时序图像间的全局变化信息,后者用于探索图像间多级别变化的局部关系,提高不同变化的判别能力;本公开改进了U型网络结构中自底向上和自顶向下之间的特征学习过程,不仅保留了每个输入特征图的空间尺寸,而且实现了双时序图像间全局和局部差异信息的学习,可同时完成建筑物的分割和多级别损毁检测两个任务,显著提高了变化检测的效率和效果。

    一种基于深度度量学习的图像情感分类与检索算法

    公开(公告)号:CN108427740B

    公开(公告)日:2022-02-18

    申请号:CN201810173303.1

    申请日:2018-03-02

    申请人: 南开大学

    摘要: 本发明公开了一种基于深度度量学习的图像情感分类与检索方法,属于图像处理技术领域。该方法的目的是结合情感标签间的相互关系进行图像情感的分类及检索。该方法设计了一种多任务的卷积神经网络架构,用于同时优化分类及检索两个任务。这种卷积神经网络架构利用基于多层卷积层的情感向量来作为图像的纹理信息表达,用于区别不同图像中的情感,并提出新型的情感约束考虑不同情感间的关系。最终将得到的模型用于图像情感分类,得到的情感向量作为嵌入特征用于图像情感检索。

    图像分割方法及装置
    9.
    发明授权

    公开(公告)号:CN107871321B

    公开(公告)日:2021-08-27

    申请号:CN201610850223.6

    申请日:2016-09-23

    IPC分类号: G06T7/11

    摘要: 本发明提供一种图像分割方法及装置,该方法包括:A、获取待分割图像对应的第一分割图像;B、确定当前第一分割图像所需要提取的特征;C、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算,并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量;D、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值,构造无向图;E、遍历所述无向图中的边,合并无向图,根据所述合并后的无向图得到区域合并后的新的第一分割图像;F、循环执行B‑E共N次,其中,N为大于等于2的预设值。该方法能够极大提升图像分割的精度以及速度。

    一种基于设备感知的显著性物体检测方法及系统

    公开(公告)号:CN113222934A

    公开(公告)日:2021-08-06

    申请号:CN202110522323.7

    申请日:2021-05-13

    申请人: 南开大学

    发明人: 程明明 顾宇超

    IPC分类号: G06T7/00 G06K9/62 G06N3/08

    摘要: 本公开提供了一种基于设备感知的显著性物体检测方法及系统,获取待检测的图像;根据获取的图像和预设显著性物体检测模型,得到图像中的显著性物体检测结果;其中,显著性物体检测模型根据预设搜索空间和目标设备上的延迟数据得到,搜索空间包括可搜索的多尺度单位和可搜索的显著头,多尺度单位将搜索到的多分支卷积重新参数化为一个分支;本公开仅训练一次SOD模型即可迅速在多个目标设备上找到高性能低延迟的SOD模型,提高了目标设备显著性物体检测的效率和精度,实现了目标设备显著性物体检测的性能和延迟的平衡。