无监督车辆再辨识模型训练方法、车辆再辨识方法及装置

    公开(公告)号:CN117437604B

    公开(公告)日:2024-03-12

    申请号:CN202311767741.8

    申请日:2023-12-21

    申请人: 华侨大学

    摘要: 本发明公开了一种无监督车辆再辨识模型训练方法、车辆再辨识方法及装置,涉及人工智能、机器视觉领域,通过基于深度学习的车辆再辨识模型从无标签车辆图像中学习的车辆图像特征,采用聚类算法进行聚类得到伪标签,并随机选择部分特征数据进行随机放缩,获得随机增强特征;基于随机增强特征计算后验类别概率,并利用随机增强特征与车辆图像特征之间的相似度组合后验类别概率,获得随机增强后验类别概率,利用随机增强后验类别概率赋权伪标签中的非峰值类别概率分布,实现伪标签的动态平滑,得到动态平滑伪标签,改善无监督车辆再辨识训练效果,解决当前无监督车辆再辨识依赖身份伪标签而聚类产生的身份伪标签质量不佳的问题。

    面向大范围车辆再辨识的不完备模态特征融合方法

    公开(公告)号:CN117315430B

    公开(公告)日:2024-03-12

    申请号:CN202311595144.1

    申请日:2023-11-28

    申请人: 华侨大学

    摘要: 本发明一种面向大范围车辆再辨识的不完备模态特征融合方法,涉及图像处理技术领域,包括:训练包括三通道模型和单通道模型的双模态模型,对可见光车辆图像,采用三通道模型提取主特征,辅以图像灰度化,采用单通道模型提取辅助特征;对红外光车辆图像,采用单通道模型提取主特征,辅以通道复制扩展,采用三通道模型提取辅助特征;将主特征和辅特征叠加获得完整特征,利用KL散度优化完整、主、辅特征三者之间后验概率分布差异,优化特征融合效果。本发明能解决在长时间大范围的监控场景中车辆因活动轨迹复杂多变出现的模态不完备问题,即可见光和红外车辆图像不完备而无法直接实现可见光和红外图像的特征融合问题,提升车辆再辨识准确性。

    基于多尺度注意力相似化蒸馏的无人机检测方法及装置

    公开(公告)号:CN117315516B

    公开(公告)日:2024-02-27

    申请号:CN202311616489.0

    申请日:2023-11-30

    申请人: 华侨大学

    摘要: 本发明公开了一种基于多尺度注意力相似化蒸馏的无人机检测方法及装置,涉及目标检测领域,包括:构建多尺度注意力图生成模块、教师网络及待训练的学生网络,通过多尺度注意力图生成模块分别将教师网络和学生网络的中间层特征映射转换为教师空间注意力信息和学生空间注意力信息,并建立注意力信息相似度优化损失函数,将注意力信息相似度优化损失函数与全局性的后验概率蒸馏函数以及学生网络的无人机目标分类损失函数和目标框回归损失函数结合以建立总损失函数,基于总损失函数对待训练的学生网络进行训练,得到经训练的学生网络;将图像输入经训练的学生网络,得到无人机检测结果,解决现有技术无人机检测准确率低、实时性差的问题。

    基于多模态融合的压缩视频质量增强方法及装置

    公开(公告)号:CN117237259B

    公开(公告)日:2024-02-27

    申请号:CN202311510614.X

    申请日:2023-11-14

    申请人: 华侨大学

    摘要: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置,涉及图像处理领域,该方法包括:获取图像帧及其对应的光流图和纹理图并分别进行特征提取,得到图像特征、光流特征和纹理特征;构建压缩视频质量增强模型并训练,得到经训练的压缩视频质量增强模型;将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型,图像特征、光流特征和纹理特征输入多模态一致性单元,自适应调整三种模态信息的分布,得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合,得到融合特征并输入多模态重构单元,得到重构信息,将重构信息与图像帧相加,得到增强的视频帧,解决单模态图像难以有效改善最终重建视频的质量的问题。

    一种基于前景感知动态部件学习的行人再辨识方法

    公开(公告)号:CN117456560A

    公开(公告)日:2024-01-26

    申请号:CN202311775203.3

    申请日:2023-12-22

    申请人: 华侨大学

    摘要: 本发明公开了一种基于前景感知动态部件学习的行人再辨识方法,涉及人工智能、机器视觉领域,包括:将浅层特征映射解码为前景能量图,利用交叉熵优化前景能量图,使其趋于真实前景标签,再将前景能量图空间划分为若干部件能量块,用各个部件能量块代表相应的浅层特征映射块的当前重要性;结合当前重要性和历史重要性对各浅层特征映射块进行综合重要性计算并排序,根据综合重要性排序优先选择高综合重要性的浅层特征映射块参与行人再辨识模型训练,从而减少来自背景区域的低综合重要性的浅层特征映射块参与行人再辨识模型训练的机会,达到抑制背景区域对行人辨识的干扰,提升行人再辨识准确性,可广泛应用于智慧城市场景中的城市安防系统。

    基于三维几何失真的MIV沉浸式视频编码率失真优化方法

    公开(公告)号:CN117440158A

    公开(公告)日:2024-01-23

    申请号:CN202311759886.3

    申请日:2023-12-20

    申请人: 华侨大学

    IPC分类号: H04N19/147 H04N19/154

    摘要: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,涉及视频编码领域,包括:S1,基于MIV编码平台编码沉浸式视频序列,生成图集后,计算与深度映射范围系数;S2,使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时,构建三维几何失真与均方误差的关系模型;S3,根据三维几何失真与均方误差的关系模型,计算三维几何失真系数;S4,根据三维几何失真系数,计算率失真优化模型中新的拉格朗日乘子,基于调整后的率失真优化模型编码当前CTU,以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。

    结合分类加强与细化微调的目标跟踪方法、装置及可读介质

    公开(公告)号:CN116739903A

    公开(公告)日:2023-09-12

    申请号:CN202310793797.4

    申请日:2023-06-30

    申请人: 华侨大学

    摘要: 本发明公开了一种结合分类加强与细化微调的目标跟踪方法、装置及可读介质,构建目标跟踪网络模型并训练,得到经训练的目标跟踪网络模型,将当前帧输入ResNet模块,将ResNet模块的输出特征输入全局感知模块,得到全局感知特征,将全局感知特征与模板帧输入分类加强模块,得到前景特征图和前景概率特征图;在第一分支中,将降维后的全局感知特征与模板帧输入判别相关滤波器,得到定位特征图;在第二分支中,将前景特征图、前景概率特征图和定位特征图融合得到混合特征图,将混合特征图与ResNet模块的部分输出特征输入微调路径模块,得到目标的掩膜,通过拟合掩膜,得到矩形框,细化微调模块根据矩形框提取目标的特征,并与模板帧做逐像素相关,得到目标跟踪框。

    一种基于多分支卷积神经网络的HEVC帧内预测方法

    公开(公告)号:CN109996084B

    公开(公告)日:2022-11-01

    申请号:CN201910361446.X

    申请日:2019-04-30

    申请人: 华侨大学

    摘要: 本发明涉及一种基于多分支卷积神经网络的HEVC帧内预测方法,属于视频编码领域,本方法使用多分支卷积神经网络,对每个CTU进行预处理,并分别作为不同分支的卷积神经网络的输入,经过卷积计算之后,将得到的特征进行全连接,考虑不同QP值的影响,并最终输出三个分支的分类结果,三个分支分别对应每个CTU中深度等级0,1,2,判断三个深度等级的CU是否继续划分或者停止划分。本发明一种基于多分支卷积神经网络的HEVC帧内预测方法能够有效地减少编码器计算开销,在保持编码性能基本不变的情况下,减少编码时间。