提升目标重识别泛化性的方法、装置、设备及存储介质

    公开(公告)号:CN113505642B

    公开(公告)日:2023-10-24

    申请号:CN202110627547.4

    申请日:2021-06-04

    申请人: 北京大学

    摘要: 本发明公开了一种提升目标重识别泛化性的方法、装置、设备及存储介质,方法包括:将未知领域的样本图像数据输入预训练的多领域专家混合模型,得到每个领域的专属特征以及所述样本图像的查询特征;计算所述查询特征与所述专属特征的平均相似度,根据所述平均相似度确定所述样本图像与每个领域的相关性;根据领域相关性对每个领域的专属特征进行加权聚合,得到聚合特征;根据所述聚合特征对所述样本图像进行目标重识别。根据本公开实施例提供的提升目标重识别泛化性的方法,通过利用元学习和多领域专家混合模型,对已知领域数据特征进行动态地聚合以生成在未知领域数据上具有强泛化能力的特征,从而提升目标识别领域的泛化性。

    一种基于协同分合学习机制的反射消除方法

    公开(公告)号:CN110827207B

    公开(公告)日:2022-12-02

    申请号:CN201910877757.1

    申请日:2019-09-17

    申请人: 北京大学

    IPC分类号: G06T5/00

    摘要: 本发明公开了基于协同分合学习机制的反射消除方法,包括:反射生成网络接收不含反射的背景图像与纯反射图像,通过特征的提取、拼接与解码,获得非线性叠加的合成含反射图像;反射分离网络接收合成含反射图像,基于多任务学习的架构对特征解耦,获得背景图像、纯反射图像与背景图像的梯度图像;将混合图像输入反射分离网络产生预测的背景图像与纯反射图像结果,再将结果输入反射生成网络获得重新合成的混合图像结果,与原始的输入混合图像进行比对形成重建自监督。本发明相比于一般深度学习方法更灵活、高效地完成反射消除。基于真实数据,通过协同分合机制,实现弱监督条件下的三个域之间的相互映射,在学到更好的去反射能力的同时生成更符合物理特性的含反射混合训练图像。

    一种极低码率人机协同图像编码训练方法及编解码方法

    公开(公告)号:CN113949880B

    公开(公告)日:2022-10-14

    申请号:CN202111026165.2

    申请日:2021-09-02

    申请人: 北京大学

    IPC分类号: H04N19/42 G06N3/04 G06N3/08

    摘要: 本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为:1)利用训练集训练得到一个生成模型;2)对该训练集中的每一图像Ij进行特征提取和流形映射,得到Ij的流形特征;3)使用超先验模型对流形特征构建码率约束和编解码,得到二进制码流和重建后的流形特征;4)根据码率约束对Ij进行紧致损失函数计算;5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中,根据所得人眼视觉重建结果进行损失函数计算;6)将重建后的流形特征输入到机器视觉模型中,根据所得机器视觉预测结果进行损失函数计算;7)将各损失进行加和更新权值;8)重复2)‑7)直到神经网络的损失收敛,得到极低码率人机协同图像编码器。

    一种人机协同的视频编码方法及视频编码系统

    公开(公告)号:CN113132732B

    公开(公告)日:2022-07-29

    申请号:CN201911408329.0

    申请日:2019-12-31

    申请人: 北京大学

    摘要: 本发明公开了一种人机协同的视频编码方法及视频编码系统。本方法为:1)对于一段待编码视频以及对应的关键点序列,编码器首先对关键点序列进行编码压缩,形成关键点序列码流;然后从待编码视频中选取一帧并编码,作为参考帧,形成参考帧码流;根据关键点序列和参考帧生成一预测视频;2)降低该待编码视频的分辨率;计算该真实低分率视频与预测视频信号之间的残差,根据各帧的残差组成一残差视频序列并将其编码成残差码流;3)编码器根据需求将码流选择性的传输到解码器;如果为机器视觉任务,则根据关键点码流重建得到关键点序列;如果需要重建视频序列,则根据三码流重建得到原分辨率视频。本发明根据应用需求,提供可伸缩的视频编码。

    基于网络的视觉分析
    5.
    发明公开

    公开(公告)号:CN114616832A

    公开(公告)日:2022-06-10

    申请号:CN202080064266.6

    申请日:2020-09-11

    摘要: 本申请提供了一种用于基于网络的视觉分析的视觉数据传输方法。所述方法包括:在成像设备处获得与场景相关的传感器数据;基于所述传感器数据从深度学习模型的中间层提取中间深层特征;基于所述中间深层特征生成编码视频数据;以及将所述编码视频数据传送至视觉分析装置,以根据所述编码视频数据进行视觉分析。本申请还提供了相应的基于网络的可视化分析方法。所述方法包括:在视觉分析装置处接收来自成像装置的编码视频数据,所述成像装置被配置为获得与场景相关的传感器数据;基于所述编码视频数据生成解码视频数据;基于所述解码视频数据生成深度学习模型的中间深层特征;并基于所述中间深层特征进行视觉分析。本申请还相应地提供了一种用于基于网络的视觉分析的视觉数据传输的成像设备和一种用于基于网络的视觉分析的视觉分析设备。

    一种去除图像摩尔纹的方法及装置

    公开(公告)号:CN110738609B

    公开(公告)日:2022-05-06

    申请号:CN201910860840.8

    申请日:2019-09-11

    申请人: 北京大学

    摘要: 本发明公开了一种去除图像摩尔纹的方法,包括:将原始图像输入到模型,通过模型中的边缘检测网络利用原始图像获得目标边缘特征图输出到模型中的多尺度融合网络;通过模型中的特征提取层提取原始图像的特征得到原始特征图输出到模型中的多尺度融合网络和合成网络;通过多尺度融合网络利用原始特征图和目标边缘特征图获取多尺度融合特征图输出到模型中的合成网络;通过模型中的分类网络利用原始图像获得类别特征图输出到模型中的合成网络;通过合成网络利用原始特征图、类别特征图及多尺度融合特征图生成无摩尔纹图像。本发明对不同类型的摩尔纹去除具有更强的泛化能力和鲁棒性,在有效去除摩尔纹的同时,还能够更好地保留原始图片中的内容细节。

    一种深度特征压缩方法
    7.
    发明公开

    公开(公告)号:CN113537456A

    公开(公告)日:2021-10-22

    申请号:CN202110660867.X

    申请日:2021-06-15

    申请人: 北京大学

    IPC分类号: G06N3/04 G06N3/08 G06K9/62

    摘要: 本发明公开了一种深度特征压缩方法,本发明构建并训练一压缩模型,该模型首先对神经网络提取的图像特征表示进行变换,产生变换后的紧凑表示,提取变换后的表示的超先验码流;超先验码流用于产生码本各个基元素的线性组合系数;码本从特征中学习获得;根据线性组合系数和对应的码本产生超先验概率估计,从而使用熵编码器进行熵编码,产生码流;码流通过熵解码和解码变换产生输出的特征表示。本发明能够对深度特征进行有效压缩,而且能够对多个任务特征进行协同压缩,重建时,对特征进行分离操作,分别产生对应不同任务的重建特征;本发明还能够支持训练时未见的新任务。

    用于深度神经网络频繁传输的压缩方法及系统

    公开(公告)号:CN108665067B

    公开(公告)日:2020-05-29

    申请号:CN201810528239.4

    申请日:2018-05-29

    申请人: 北京大学

    IPC分类号: G06N3/08 G06N3/04

    摘要: 本发明公开了用于深度神经网络频繁传输的压缩方法及系统,扩展深度神经网络压缩至传输领域,利用深度神经网络模型之间的潜在冗余性进行压缩,减少深度神经网络在频繁传输下的开销。本发明的优势在于:本发明结合了深度神经网络在频繁传输上的多个模型之间的冗余性,利用了深度神经网络之间的知识信息进行压缩,减少了所需传输的大小和带宽。在相同带宽限制下,能更好地将深度神经网络进行传输,同时允许深度神经网络在前端进行针对性压缩的可能,而非只能将深度神经网络进行针对性压缩后进行部分的还原。

    一种基于反馈优化的人机视觉编码方法和装置

    公开(公告)号:CN111163318A

    公开(公告)日:2020-05-15

    申请号:CN202010020628.3

    申请日:2020-01-09

    申请人: 北京大学

    摘要: 本申请公开了一种基于反馈优化的人机视觉编码方法,所述方法包括:编码端获取所述目标视频对应的像素特征后输入预设预测模型中生成语义特征;编码端基于所述语义特征生成视频流和特征流;解码端基于所述编码后的特征流和视频流生成解码视频;解码端当接收到针对客户端输入的参数调整指令时,生成码率参数发送至编码端;编码端获取当前码率;编码端基于所述码率参数对所述当前码率进行调整生成调整后的码率;编码端基于所述调整后的码率增强所述视频流和所述特征流,生成增强后的视频流和增强后的特征流;解码端基于所述增强后的视频流和增强后的特征流对编码端模型进行更新。因此,采用本申请实施例,可以提高视频特征抽取和压缩效率。

    一种面向监控场景车窗图像的图像增强方法与系统

    公开(公告)号:CN110807740A

    公开(公告)日:2020-02-18

    申请号:CN201910877750.X

    申请日:2019-09-17

    申请人: 北京大学

    IPC分类号: G06T5/00

    摘要: 本发明公开了用于增强监控中车窗图像的图像增强方法与系统,利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声,低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本发明的优势在于:本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈,并用同一模型恢复多种退化现象;设计了基于车辆再检索任务的内容保持机制,在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外,同时在机器视觉上可提高车辆检索模型的性能。