公开(公告)号：CN117376584A

公开(公告)日：2024-01-09

申请号：CN202311500891.2

申请日：2023-11-13

Applicant: 杭州电子科技大学

Inventor： 张志 ,  周洋 ,  赵俊能 ,  刘春晖 ,  殷海兵 ,  黄晓峰

IPC: H04N19/587 ,  H04N21/2343 ,  H04N21/4402 ,  G06N3/0464

Abstract: 本发明方法公开了一种基于多分支对称网络的非线性运动估计视频插帧方法，在粗帧合成阶段提取多个连续的视频帧的高级语义特征，并进行编码特征的融合，通过双分支上采样模块中的特征的交互操作和单光流的逐层细化操作自适应地获取视频帧之间的非线性运动特征，得到更为准确的运动估计和粗帧，然后在细帧合成阶段，通过细化网络生成残差来补偿粗帧，得到细化后的中间帧。本发明解决了高阶非线性运动场景的视频插帧问题，提取多个视频帧的高级语义信息，自适应地建立运动模型，有效解决现有技术中难以用固定的数学模型准确描述的问题；通过借助深度学习技术，采用光流法策略，能够更好地处理复杂的运动场景，使得合成的中间帧图像在视觉上更加真实。

公开(公告)号：CN111696076B

公开(公告)日：2023-07-07

申请号：CN202010377994.4

申请日：2020-05-07

Applicant: 杭州电子科技大学

Inventor： 梁文青 ,  周洋 ,  崔金鹏 ,  张博文

IPC: G06T7/00

Abstract: 本发明公开了一种新型立体图像舒适度预测方法，包括以下步骤：从彩色图提取亮度矩特征和色度矩特征；对彩色图进行小波变换，提取结构复杂度特征；对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征；利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。上述技术方案通过将彩色图和视差图进行小波变换，从两层小波系数中获得更丰富的图像信息，并且具有良好的空间性，从不同方向的细节信息提取不适特征，更详细地描述不适特征并进行舒适度预测。

公开(公告)号：CN113179396B

公开(公告)日：2022-11-11

申请号：CN202110295931.9

申请日：2021-03-19

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  张博文 ,  崔金鹏 ,  梁文青 ,  殷海兵 ,  陆宇 ,  黄晓峰

IPC: H04N13/279 ,  H04N13/106 ,  H04N13/156 ,  H04N13/15 ,  G06T7/194 ,  G06T5/50 ,  G06T5/00 ,  G06V10/762

Abstract: 本发明方法公开了基于K‑means模型的双视点立体视频融合方法。本发明方法首先对左、右视点深度图进行预处理，得到左、右视点深度图像；然后分别对左、右视点深度图像运用K‑means方法进行分割，对分割后的前景和背景区域深度图像进行三维投射运算，得到左、右视点的前景和背景绘制图像；以前景绘制图像为蓝本，用背景绘制图像填充前景绘制图像的空缺区域，将填充后的左、右视点绘制图像进行图像融合，获得虚拟视点绘制图像；最后将虚拟视点绘制图像的空洞区域根据空洞周围的像素信息进行加权填充，获得最终输出图像。本发明方法采用像素级别的操作，对空洞区域进行精准处理，使绘制效果在视觉效果上更加优质，更加协和。

公开(公告)号：CN111770346B

公开(公告)日：2022-09-30

申请号：CN202010523987.0

申请日：2020-06-10

Applicant: 杭州电子科技大学

Inventor： 崔金鹏 ,  周洋 ,  梁文青 ,  张博文 ,  殷海兵 ,  陆宇 ,  黄晓峰

IPC: H04N19/593 ,  H04N19/513 ,  H04N19/176 ,  H04N19/182 ,  H04N19/96 ,  H04N19/895

Abstract: 本发明公开了一种基于显著性的立体三维视频错误隐藏方法。传统的错误隐藏技术在视频流在传输过程中发生整帧丢失时恢复效果差。本发明方法首先获取丢失帧的运动显著性图、深度显著性图，深度边缘显著性图，然后融合运动显著性图和深度显著性图并块化，再与深度边缘显著性图合并得到最终显著性图，并进行显著等级划分。对高显著等级的区域采用视点间搜索像素填补和候选运动矢量补偿恢复，对中显著等级的区域采用时域搜索像素填补和视点间搜索像素填补，对低显著等级区域采用时域帧像素拷贝填补。本发明方法除了结合3D—HEVC特性提出新的错误隐藏方法，考虑了视频画面的显著性，对立体视频在网络传输中发生的整帧丢失现象有很好的恢复效果。

公开(公告)号：CN112738501B

公开(公告)日：2022-05-17

申请号：CN202011592782.4

申请日：2020-12-29

Applicant: 杭州电子科技大学

Inventor： 徐岩 ,  周洋 ,  任建凯 ,  陈平安 ,  陆宇 ,  殷海兵 ,  黄晓峰

IPC: H04N17/00 ,  H04N13/106

Abstract: 本发明公开了一种立体图像舒适度测试方法。传统的舒适度测试技术提取的特征较为简单，预测结果不够准确。本发明方法首先输入立体图像视差图提取基础视差特征，然后由视差图和中颞区皮层图提取视觉神经活动特征，再与颜色特征线性结合得到最终的舒适度预测特征，采用随机森林回归模型进行不舒适度测试，获得最终的立体视觉不舒适度分值。本发明的视觉神经活动特征模拟了大脑中颞区皮层视觉处理过程，视差特征和颜色特征则代表了图像内容本身。本发明方法充分考虑了影响立体图像舒适度的相关因素，在舒适度测试方面有很好的效果。

公开(公告)号：CN114222145A

公开(公告)日：2022-03-22

申请号：CN202111597858.7

申请日：2021-12-24

Applicant: 杭州电子科技大学

Inventor： 陆宇 ,  张志 ,  黄晓峰 ,  周洋 ,  殷海兵 ,  杨萌

IPC: H04N19/96 ,  H04N19/11 ,  H04N19/119

Abstract: 本发明公开了一种低复杂度的快速VVC帧内编码方法。本发明中基于上下文相关性的CU划分模块首先根据当前CU块的纹理特征将CU划分为复杂块和简单块；对简单块进行提前终止所有类型的划分，对复杂块继续进行二叉树划分和三叉树划分，以此解决多类型树划分带来的复杂度过高的问题。此外编码器决策出当前CU的最佳模式时。首先对帧内的粗选部分进行优化，在帧内角度预测模式的索引值为2～67的角度模式中每隔4个角度选取一个中心角度，然后基于此再小范围前后各增加2个角度模式搜索；然后利用最有可能模式(MPM)的概率分布特征，对帧内的细选部分进行优化。本发明在保证编码质量的同时降低了VVC编码的复杂度，特别是对于高分辨率的视频有非常好的编码性能。

公开(公告)号：CN111526354B

公开(公告)日：2021-08-20

申请号：CN201911165762.6

申请日：2019-11-25

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  梁文青 ,  崔金鹏 ,  张博文

IPC: H04N17/00 ,  H04N13/106 ,  G06K9/62

Abstract: 本发明公开了一种基于多尺度空间视差信息的立体视频舒适度预测方法，包括以下步骤：从立体视频每帧的不同尺度视差信息提取尺度空间域特征与尺度空间流特征；建立尺度空间域特征与尺度空间流特征权重关系得到立体视频每帧输入特征；利用SVR进行单帧舒适度预测并采用时间中值池化策略得到立体视频舒适度得分。上述方法在不同尺度空间提取特征，并将不同尺度空间特征进行融合，建立不同特征的权重关系，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，对立体视频视觉舒适度进行更准确的预测。

公开(公告)号：CN111083502B

公开(公告)日：2021-06-08

申请号：CN201911065748.9

申请日：2019-11-04

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  周辉 ,  谢菲 ,  尉婉丽

IPC: H04N19/895 ,  H04N19/65 ,  H04N19/103 ,  H04N19/176 ,  H04N19/70

Abstract: 本发明涉及一种基于块编码特性的3D视频错误隐藏方法。本发明方法首先区分丢失块所属的区域类型。属于背景区域的丢失块采用加权平均前后向帧中同位块像素的方法恢复。对属于前景区域的丢失块，利用丢失块的周围可用块的信息来估计当前丢失块的编码预测方式，将丢失块分类成帧内编码块、帧间编码块和视间编码块。针对帧内编码，采用加权融合运动补偿块和视间补偿块恢复；针对帧间编码块，采用线性双向预测或单向搜索预测恢复；针对视间编码块，利用灰度共生矩阵改进传统边界匹配准则恢复。本方法根据不同编码特性的丢失块采用不同的恢复方法对3D视频流传输中右视点出错帧，有较好的重建效果。

公开(公告)号：CN110189294B

公开(公告)日：2021-05-07

申请号：CN201910298984.9

申请日：2019-04-15

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  刘晓琪 ,  尉婉丽 ,  梁文青

IPC: G06T7/00 ,  G06T7/10 ,  G06T7/136 ,  G06T7/66 ,  G06T7/90

Abstract: 本发明公开了一种基于深度可信度分析的RGB‑D图像显著性检测方法。本发明方法首先评判深度图所反映场景远近程度信息的可信度，引出深度可信度因子λ作为度量立体图像显著性的主要特征指标，当深度图能较准确反映场景信息时，即λ＜0.45，仅通过深度特征来进行立体图像显著性检测；当深度图可信度较低或场景较模糊时，即λ≥0.45，再结合其他特征如颜色等进行显著性检测。本发明方法充分考虑了深度图线索对于立体视觉显著性检测的贡献度，通过计算深度图可信度因子，判断深度图能否准确反映场景距离或深度图是否存在失真。本发明方法计算复杂度低，获取的立体图像显著图质量高，可直接应用在3D图像感知，3D质量评估以及物体识别等工程领域中。

公开(公告)号：CN109922349B

公开(公告)日：2021-02-19

申请号：CN201910104758.2

申请日：2019-02-01

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  谢菲 ,  周辉 ,  尉婉丽

IPC: H04N19/65 ,  H04N19/597 ,  H04N19/52 ,  H04N19/533 ,  H04N19/577 ,  H04N19/176 ,  H04N13/161

Abstract: 本发明涉及基于视差矢量外推的立体视频右视点B帧错误隐藏方法。本发明方法首先对立体视频右视点出错帧的同时刻的左视点帧建立视差矢量场；对于帧间编码块，根据帧中的运动预测信息在参考帧中找到帧间编码块对应的运动参考块，并根据运动参考块和搜索帧中的像素信息估计视差矢量；对于帧内编码块，根据周边相邻的帧间编码块的像素信息，计算像素信息最为相近的帧间编码块的视差矢量作为当前帧内编码块的视差矢量。本发明方法处理方式更为精细，在隐藏丢失块的过程中，对帧间编码块与帧内编码块提出了两种不同的隐藏方式，与传统的运动矢量外推算法中仅仅使用拷贝的方式相比，该方法在边界上的处理更为连续平滑。