公开(公告)号：CN117880482A

公开(公告)日：2024-04-12

申请号：CN202311556130.9

申请日：2023-11-21

Applicant: 杭州电子科技大学

Inventor： 刘春晖 ,  周洋 ,  赵俊能 ,  张志 ,  殷海兵 ,  黄晓峰

IPC: H04N13/282

Abstract: 本发明公开了面向3D视频的时间空间双维度帧合成方法。本发明首先对输入视频中的每帧原始输入图像通过特征提取网络提取特征信息，生成多个不同尺度下的特征图；然后对输入视频在时间维度进行插帧操作，生成时间维度插帧图像，在视点维度进行插帧操作，生成视点维度合成图像；最后通过维度融合网络，将原始输入图像以及对应的特征图、生成的光流信息和掩膜、时间维度插帧图像和视点维度合成图像进行融合，生成同时考虑两个维度信息的高质量生成帧。本发明结合时间、视点双维度信息，生成高质量的中间合成帧，保证了整体网络的并行度，避免了使用不同网络时造成的时延不同步在降低计算冗余的情况下克服了深层网络丢失图像原始信息的问题。

公开(公告)号：CN116800949A

公开(公告)日：2023-09-22

申请号：CN202310631949.0

申请日：2023-05-30

Applicant: 杭州电子科技大学

Inventor： 陈平安 ,  周洋 ,  林坤 ,  蔡毛毛 ,  殷海兵 ,  黄晓峰

IPC: H04N17/00 ,  H04N13/00 ,  G06N3/0464

Abstract: 本发明涉及立体图像舒适度技术领域，为解决评估立体图像感知不适度问题，本发明采用了一种基于深度学习的立体图像舒适度预测方法以预测立体图像舒适度的问题，其首先根据左右视点图像构建RGB独眼图，然后利用3D显著图裁剪得到RGB独眼图图像块，并将RGB独眼图图像块输入卷积神经网络，通过计算输出预测值均值得到立体图像舒适度最终预测值。本发明通过对红、绿和蓝三通道单独计算独眼图，保留了立体图像的彩色信息，并且基于显著性对立体图像进行图像裁剪，扩充了用于模型训练的样本，最大程度上保留了观看者最关注的图像区域。通过添加分组加权注意力模块对CSP‑Net模型进行了创造性改进优化，提高了计算效率。

公开(公告)号：CN115131209A

公开(公告)日：2022-09-30

申请号：CN202210740614.8

申请日：2022-06-28

Applicant: 杭州电子科技大学

Inventor： 唐然 ,  黄晓峰 ,  章天杰 ,  周洋 ,  陆宇 ,  殷海兵 ,  崔燕

IPC: G06T3/40 ,  G06T5/50 ,  G06V10/25 ,  G06V10/46 ,  G06V10/75

Abstract: 本发明属于图像处理领域，公开了一种基于DSP的实时视频拼接方法，采用select操作方式定向选择数据，借助gather和scatter指令将不连续RAM地址中的数据加载到向量寄存器中；图像配准算法部分：在匹配前设定阈值预筛选特征点，基于汉明距离进行特征点匹配。算法均使用SIMD指令集并行处理多数据，提高计算效率；采用PING‑PONG方式传输数据，旨在隐藏视频拼接过程中外部存储器访问的周期，从而有效提高数据吞吐量。最后，基于DAG生成算法调度表，在双DSP平台上并行执行ORB特征提取算法。本发明减少了计算复杂度；并为计算机视觉相关的算法在DSP平台上研究提供了参考。

公开(公告)号：CN114222117A

公开(公告)日：2022-03-22

申请号：CN202111554648.X

申请日：2021-12-17

Applicant: 杭州电子科技大学

Inventor： 查攀 ,  周洋 ,  殷海兵

IPC: H04N19/103 ,  H04N19/14 ,  H04N19/147 ,  H04N19/172

Abstract: 本发明属于数字视频编解码领域，公开了一种基于视频特征的编码参数自适应选择方法,提出了一种参数取值算法，依据该算法能够确定出相对最优的参数取值，即使编码器达到更好的RD性能，同时达到更低的编码复杂度，实现了利用较小复杂度代价换取较大RD性能增益的目的。分析了ctu、subme这两个参数受视频特征影响的情况。同时，将不同尺寸CU的比例信息、量化系数QP作为特征参量来描述视频特征；此外，将P帧与B帧中的intra块的比例、帧间预测误差satd作为调节因子。分析了参数取值与视频特征间的变化关系，用统计建模的方法建立了参数取值与视频特征参量间的数学模型，从而建立了基于视频特征的参数自适应取值模型。

公开(公告)号：CN111010583B

公开(公告)日：2021-09-07

申请号：CN201911206004.4

申请日：2019-11-29

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  谢菲 ,  尉婉丽 ,  周辉 ,  陆宇 ,  殷海兵 ,  黄晓峰

IPC: H04N19/895 ,  H04N19/176

Abstract: 本发明涉及一种基于残差分块的自适应多视点视频错误隐藏方法。新一代多视点视频编码标准MV‑HEVC一旦出现数据丢包，将影响与丢失帧相关联的所有帧，产生差错传播。本发明方法针对多视点视频中中间视点视频流丢包的现象，首先利用丢失块可用邻块的残差信息对丢失块进行残差重建，然后根据残差值对丢失块进行模式划分，划分结束后基于残差信息对丢失块划分后的子块进行重建顺序排序，最后基于重建顺序结合时空域信息和视点间信息重建丢失块。本方法结合了丢失块邻块的时空域信息和帧间信息，对于多视点视频的中间视点码流丢失问题有较好的重建效果。

公开(公告)号：CN109819230B

公开(公告)日：2020-08-25

申请号：CN201910081049.7

申请日：2019-01-28

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  周辉 ,  谢菲 ,  尉婉丽

IPC: H04N13/106 ,  H04N13/128 ,  H04N13/133 ,  H04N13/194 ,  H04N13/161

Abstract: 本发明涉及一种基于HEVC标准的立体三维视频错误隐藏方法。传统错误隐藏技术不适应新标准HEVC的扩展平台MV‑HEVC。本发明方法首先确定立体视频流中右视点丢失块所属区域类型，根据区域类型不同，分别采用不同的恢复方法。获取前向参考帧中同位置的像素块和后向参考帧中同位置的像素块，将两个像素块中对应的像素点的差值的绝对值进行累加后求取平均值，如果平均值小于等于阈值，则判断为背景区域，采用加权平均前后向帧中同位置的像素值来填补丢失块；如果平均值大于阈值，则判断为前景区域，采用构建候选矢量集对丢失块进行矢量位移补偿恢复。利用本发明方法方法，使得匹配精度提升，对立体视频流传输丢包有很好的恢复效果。

公开(公告)号：CN111405265A

公开(公告)日：2020-07-10

申请号：CN202010214373.4

申请日：2020-03-24

Applicant: 杭州电子科技大学

Inventor： 张博文 ,  周洋 ,  梁文青 ,  崔金鹏 ,  陆宇 ,  殷海兵

IPC: H04N13/122 ,  H04N13/275

Abstract: 本发明公开了一种新型的图像绘制技术，包括以下步骤：3D图像变换；利用图像之间的深度差值来划分绘制不准确区域；设置图像的前景阈值和背景阈值；处理空洞。上述技术方案利用图像之间的深度差值来划分绘制不准确区域，根据图像的实际情况将图像中视觉冲击最明显的区域中的破损区域重新进行绘制，从而让图像的绘制区域变得更加清晰，减少最后一步填充空洞时空洞的个数，从而降低时间复杂度。

公开(公告)号：CN111405264A

公开(公告)日：2020-07-10

申请号：CN202010068774.3

申请日：2020-01-20

Applicant: 杭州电子科技大学

Inventor： 尉婉丽 ,  周洋 ,  梁文青 ,  谢菲 ,  周辉 ,  殷海兵 ,  陆宇

IPC: H04N13/122 ,  H04N13/128 ,  H04N13/15

Abstract: 本发明公开了一种基于深度调整的3D视频舒适度改善方法。解决了一般3D视频观看不舒适、视觉体验不佳的问题。本发明包括以下步骤：S1：对左视点图、右视点图的深度图都进行预处理，得到预处理图；S2：对预处理图进行深度滤波，得到滤波图；S3：对滤波图进行深度去纹理，得到去纹理图；S4：根据去纹理图进行虚拟视点绘制，获得虚拟右视点彩色图；S5：用虚拟右视点彩色图和原始视点图进行替换得到改善的3D视频。本发明的增益效果是降低了视差、梯度变化、纹理对观感体验的影响，实现了整体舒适度的改善。

公开(公告)号：CN108174208B

公开(公告)日：2020-05-12

申请号：CN201810144026.1

申请日：2018-02-12

Applicant: 杭州电子科技大学

Inventor： 陆宇 ,  赵璇 ,  刘华平 ,  唐向宏 ,  殷海兵 ,  周洋

IPC: H04N19/136 ,  H04N19/14 ,  H04N19/70

Abstract: 本发明公开了一种基于特征分类的高效视频编码方法。本发明首先选择一个视频序列的10帧作标准的HEVC编码，然后提取深度特征，梯度特征以及方差特征，将这些特征用SVM进行离线训练，得到SVM预测模型。然后对每一个视频序列进行编码，设置第1帧为在线学习帧；从第二帧开始作快速编码，先作边缘检测，判断当前CU是否为纹理复杂的CU。根据预测结果把当前CU分为三类：提前跳过划分的CU、提前终止划分的CU和不确定划分的CU。对不确定划分的CU再进行RDcost判断，若当前CU的RDcost小于同深度下的阈值RD_thrk，则提前终止CU划分，否则继续进行标准的率失真优化过程。本发明在保证比特率增加可忽略不计的情况下大大降低了编码复杂度。

公开(公告)号：CN110189294A

公开(公告)日：2019-08-30

申请号：CN201910298984.9

申请日：2019-04-15

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  刘晓琪 ,  尉婉丽 ,  梁文青

IPC: G06T7/00 ,  G06T7/10 ,  G06T7/136 ,  G06T7/66 ,  G06T7/90

Abstract: 本发明公开了一种基于深度可信度分析的RGB-D图像显著性检测方法。本发明方法首先评判深度图所反映场景远近程度信息的可信度，引出深度可信度因子λ作为度量立体图像显著性的主要特征指标，当深度图能较准确反映场景信息时，即λ＜0.45，仅通过深度特征来进行立体图像显著性检测；当深度图可信度较低或场景较模糊时，即λ≥0.45，再结合其他特征如颜色等进行显著性检测。本发明方法充分考虑了深度图线索对于立体视觉显著性检测的贡献度，通过计算深度图可信度因子，判断深度图能否准确反映场景距离或深度图是否存在失真。本发明方法计算复杂度低，获取的立体图像显著图质量高，可直接应用在3D图像感知，3D质量评估以及物体识别等工程领域中。