-
公开(公告)号:CN118521876B
公开(公告)日:2024-10-22
申请号:CN202410978491.0
申请日:2024-07-22
申请人: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC分类号: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
摘要: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置,涉及视频处理领域,为了尽可能地解决视频中所存在的冗余信息问题,首先采用随机抽样的方式筛选视频帧;然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征,采用预训练的ResNet50模型进行特征提取;并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响,利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数;最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
公开(公告)号:CN118521876A
公开(公告)日:2024-08-20
申请号:CN202410978491.0
申请日:2024-07-22
申请人: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC分类号: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
摘要: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置,涉及视频处理领域,为了尽可能地解决视频中所存在的冗余信息问题,首先采用随机抽样的方式筛选视频帧;然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征,采用预训练的ResNet50模型进行特征提取;并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响,利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数;最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
公开(公告)号:CN118450127B
公开(公告)日:2024-11-05
申请号:CN202410885047.4
申请日:2024-07-03
申请人: 华侨大学
IPC分类号: H04N19/147 , H04N19/625 , H04N19/136 , H04N19/149
摘要: 本发明公开了一种融合空频域显著性特征的SCV编码感知码率控制方法及装置,涉及视频编码领域,方法包括:获取屏幕内容视频,通过卷积、相似度计算,对屏幕内容视频在空域上进行显著性建模,获得空域的显著性特征;其次利用DCT变换,对屏幕内容视频在频域上进行显著性建模,获得频域的显著性特征;然后利用显著性因子指导CTU级的目标比特分配;最后通过显著性因子构建显著性启发的感知码率控制模型,调节参数,实现码率控制。本发明通过提取空域和频域的显著性特征并加以融合求得显著性因子,使用显著性因子指导码率控制,能够提高编码率失真性能,提升码率分配精度。
-
公开(公告)号:CN118864287A
公开(公告)日:2024-10-29
申请号:CN202411319738.4
申请日:2024-09-23
申请人: 华侨大学
摘要: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。
-
公开(公告)号:CN118469876A
公开(公告)日:2024-08-09
申请号:CN202410912771.1
申请日:2024-07-09
申请人: 华侨大学
IPC分类号: G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06T5/60
摘要: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统,涉及视频处理技术领域,方法包括以下步骤:特征提取模块接收待修复的缺损视频帧序列,采用卷积神经网络对视频帧进行特征提取,输出第一特征;强感知Transformer模块接收第一特征,采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模,输出第二特征;重构模块接收第二特征,采用反卷积层进行视频帧重建,输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模,有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题,实现更好的修复效果。
-
公开(公告)号:CN117440158B
公开(公告)日:2024-04-12
申请号:CN202311759886.3
申请日:2023-12-20
申请人: 华侨大学
IPC分类号: H04N19/147 , H04N19/154
摘要: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,涉及视频编码领域,包括:S1,基于MIV编码平台编码沉浸式视频序列,生成图集后,计算与深度映射范围系数;S2,使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时,构建三维几何失真与均方误差的关系模型;S3,根据三维几何失真与均方误差的关系模型,计算三维几何失真系数;S4,根据三维几何失真系数,计算率失真优化模型中新的拉格朗日乘子,基于调整后的率失真优化模型编码当前CTU,以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。
-
公开(公告)号:CN107105297B
公开(公告)日:2019-08-30
申请号:CN201710357483.4
申请日:2017-05-19
申请人: 华侨大学
IPC分类号: H04N19/597 , H04N19/176 , H04N19/109 , H04N19/59
摘要: 本发明公开了一种针对3D‑HEVC深度图帧内预测编码的快速优化方法,包括:对当前编码块CU计算其像素方差以及对角像素差的绝对值之和,根据当前编码块的方差以及对角像素差值的绝对值之和设定阈值,通过阈值比较,判定是否提前终止当前CU的深度划分;根据当前预测块PU外圈像素差的绝对值之和,设定阈值,通过阈值比较当前预测块PU是否属于平滑类型,从而跳过SDC编码,进一步降低计算复杂度。本发明能够在保持3D‑HEVC编码效率的前提下,有效地降低深度图帧内预测编码计算复杂度。
-
公开(公告)号:CN118450127A
公开(公告)日:2024-08-06
申请号:CN202410885047.4
申请日:2024-07-03
申请人: 华侨大学
IPC分类号: H04N19/147 , H04N19/625 , H04N19/136 , H04N19/149
摘要: 本发明公开了一种融合空频域显著性特征的SCV编码感知码率控制方法及装置,涉及视频编码领域,方法包括:获取屏幕内容视频,通过卷积、相似度计算,对屏幕内容视频在空域上进行显著性建模,获得空域的显著性特征;其次利用DCT变换,对屏幕内容视频在频域上进行显著性建模,获得频域的显著性特征;然后利用显著性因子指导CTU级的目标比特分配;最后通过显著性因子构建显著性启发的感知码率控制模型,调节参数,实现码率控制。本发明通过提取空域和频域的显著性特征并加以融合求得显著性因子,使用显著性因子指导码率控制,能够提高编码率失真性能,提升码率分配精度。
-
公开(公告)号:CN117440158A
公开(公告)日:2024-01-23
申请号:CN202311759886.3
申请日:2023-12-20
申请人: 华侨大学
IPC分类号: H04N19/147 , H04N19/154
摘要: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,涉及视频编码领域,包括:S1,基于MIV编码平台编码沉浸式视频序列,生成图集后,计算与深度映射范围系数;S2,使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时,构建三维几何失真与均方误差的关系模型;S3,根据三维几何失真与均方误差的关系模型,计算三维几何失真系数;S4,根据三维几何失真系数,计算率失真优化模型中新的拉格朗日乘子,基于调整后的率失真优化模型编码当前CTU,以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。
-
公开(公告)号:CN118865075A
公开(公告)日:2024-10-29
申请号:CN202411319739.9
申请日:2024-09-23
申请人: 华侨大学
IPC分类号: G06V10/98 , G06N3/043 , G06N3/0464 , G06V10/776 , G06V10/82
摘要: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置,涉及视频评价领域,包括:提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型,每个关键帧输入显著性计算模块筛选出若干个显著视频块,每个显著视频块输入双通道卷积神经网络,得到每个阶段的多层特征并输入块级质量评估模块,经过空间门特征增强模块,得到每个阶段的增强特征并输入块级质量聚合模块,得到每个视频块的块级质量分数;采用自适应加权策略计算得到空域感知质量分数;碎片化视频输入时域感知质量评估支路,得到时域感知质量分数,两者结合计算得到屏幕内容视频的质量分数,解决现有视频质量评价方法可靠性差的问题。
-
-
-
-
-
-
-
-
-