一种基于RGB-D图像的室内场景三维重建方法

    公开(公告)号:CN109658449B

    公开(公告)日:2020-07-10

    申请号:CN201811466786.0

    申请日:2018-12-03

    摘要: 本发明公开了一种基于RGB‑D图像的室内场景三维重建方法,利用语义分割结果修复深度图像空洞,为三维重建提供物体轮廓与类别信息,根据先验知识获取到物体的形状和外观,从而为三维重建提供更加精确的数据。三维重建为语义分割提供三维空间信息,解决二维图像分割中存在的物体交叠、受光照影响等导致的误分割。使用多层次的相机位姿估计,稀疏的特征匹配提供粗略的估计位姿,再通过密集的几何、光度优化方法,得到精确相机位姿,为重建模型提供更加精确的相机位姿。在重建过程中,对每帧进行局部优化,同时加入关键帧机制,建立全局优化与闭环检测,将关键帧像素对应的空间点建立约束,有效抑制误差累积,进一步优化相机位姿,提高重建结果的精度。

    一种利用帧间关系的HEVC视频流的质量估计方法及系统

    公开(公告)号:CN108989802B

    公开(公告)日:2020-05-19

    申请号:CN201810920052.9

    申请日:2018-08-14

    摘要: 本发明公开了一种利用帧间关系的HEVC视频流的质量估计方法及系统,该方法包括:将HEVC视频流切分为多个图像组;对图像组中的I帧使用帧内预测的方法进行视频质量估计;对图像组中的B/P帧使用帧间预测的方法进行视频质量估计;将图像组中的I帧、B/P帧的预测质量组合得到图像组视频质量,再依次组合图像组视频质量得到视频流质量。本发明通过四个参量来表征HEVC压缩流的内容变化,利用随机GBRT模型实现上述参量到时间序列模型参数间的映射,达到自适应估计HEVC压缩流视频质量的目的,时间序列模型ARIMA(2,1,3)对HEVC压缩流帧序列的质量变化进行建模,时间序列预测模型参数能随视频内容变化动态调整,实现对视频质量的自适应估计,提高了视频质量估计的精度和速度。

    一种网络视频流的无参考图像质量在线估计方法

    公开(公告)号:CN105578185B

    公开(公告)日:2018-08-21

    申请号:CN201510930619.7

    申请日:2015-12-14

    摘要: 本发明公开了一种网络视频流的无参考图像质量在线估计方法。所述方法利用P帧PSNR相对于I帧纹理复杂度和P帧运动量的线性预测模型,估计网络视频流的P帧PSNR值;同时结合模型系数随P帧帧长和场景的变化而动态变化的规律,利用I帧的PSNR调整纹理系数,利用上一P帧的运动系数和当前帧的运动信息调整当前帧的运动系数,最终得出了较为准确的适应视频内容变化的P帧PSNR估计方法。本发明提供的线性预测模型,只需解码I帧,无需解码P帧,系统运行开销小,而且在线动态更新运动系数和纹理系数可及时反映视频流中相邻P帧间的运动变化和场景切换时纹理复杂度的变化,从而使得估计得到的PSNR较为准确,系统自适应性好。

    一种融合色彩和深度信息的室内场景轮廓检测方法

    公开(公告)号:CN107578418A

    公开(公告)日:2018-01-12

    申请号:CN201710807970.6

    申请日:2017-09-08

    摘要: 本发明公开了一种融合色彩和深度信息的室内场景轮廓检测方法,属于机器视觉技术领域。本发明包括以下关键技术:1、分离彩色图像为R、G和B,在每个通道上利用图像边缘检测算子分别提取边缘信息,然后通过加权融合,得到彩色图像边缘检测的整体结果;2、利用深度图像提取边缘信息,修正仅根据彩色图像进行检测时,因丢失场景三维信息而导致的伪边缘,同时加强真实边缘检测结果的置信度;3、构建梯度金字塔,多尺度多层级融合彩色图像边缘和深度图像边缘,得到边缘检测结果,进而执行边缘聚合得到最终轮廓。本发明充分发掘深度图像梯度信息,利用深度图像轮廓检测结果修正并增强彩色图像轮廓检测结果,得到更为鲁棒和精确的场景轮廓。

    一种视频流解码计算复杂度估计方法

    公开(公告)号:CN101959068B

    公开(公告)日:2012-12-19

    申请号:CN201010502968.6

    申请日:2010-10-12

    IPC分类号: H04N7/26 H04N7/32

    摘要: 本发明公开了一种视频流解码计算复杂度估计方法,首先利用离线分析得到解码复杂度相对于视频帧长的统计模型,在线运行过程中,对于I帧直接利用上述模型对视频解码复杂度进行估计,对于P帧则根据相邻帧间的相关性,挖掘出模型系数随着视频内容变化而变化的规律,并以预测误差为反馈来动态调整后续P帧的模型系数,最终实现快速高效地获得解码复杂度估计结果。本发明采用简单的线性模型进行估计且模型参数可由压缩码流直接获得,解码器设计流程简单、码流兼容性好;对模型系数进行动态更新从而及时反映视频内容的变化,估计结果精确度高;在线更新仅需利用上一次更新结果作简单运算,系统运行时开销小,特别适合于资源受限的嵌入式系统应用。

    图像、视频信号的编码/解码方法

    公开(公告)号:CN1662069A

    公开(公告)日:2005-08-31

    申请号:CN200510018135.1

    申请日:2005-01-12

    IPC分类号: H04N7/50 H04N7/26

    摘要: 图像、视频信号的编码/解码方法,属于图像和视频信号的编码和解码,特别涉及到一种用于图像和视频变换编码的4×4整数变换和相应的变换和量化方法。本发明编码方法,对输入图像、视频信号顺序进行离散余弦步骤量化步骤和熵编码步骤,提出正变换和量化方程式;本发明解码方法,对于经过压缩的编码顺序进行熵解码步骤、去量化步骤和离散余弦逆变换步骤;提出去量化和逆变换的方程式。本发明目的在于提高编码质量的同时降低编码的计算量。该变换能够降低在编码器和解码器中的解码数据的精度问题,简化编码器和解码器对视频和图像计算的复杂性,同时保证图像和视频压缩的质量不降低和其他资源受到的影响可以忽略。

    一种计算复杂度感知的视频解码宏块级并行调度方法

    公开(公告)号:CN105491377A

    公开(公告)日:2016-04-13

    申请号:CN201510937350.5

    申请日:2015-12-15

    摘要: 本发明公开了一种计算复杂度感知的视频解码宏块级并行调度方法,包含两项关键技术:一是根据熵解码和重排序之后的宏块信息,如非零系数个数、宏块帧间预测编码类型、运动矢量等,建立宏块解码复杂度预测线性模型,对每个模块进行复杂度分析,充分利用已知的宏块信息,提高并行效率;二是在满足宏块解码依赖的前提下,将宏块解码复杂度与计算并行相结合,对已获取的宏块复杂度进行排序,根据排序结果对宏块进行分组并发执行,分组大小根据GPU的计算能力动态确定,分组数目根据当前可并行的宏块数目动态确定,保证充分利用GPU的同时也控制内核函数发射次数,实现高效并行。另外,采用缓冲区的方式实现CPU和GPU的并行协同运行,充分利用资源,减少空闲等待。

    基于码率型转码辅助的视频空间分辨率转换方法

    公开(公告)号:CN101964910A

    公开(公告)日:2011-02-02

    申请号:CN201010257652.5

    申请日:2010-08-20

    IPC分类号: H04N7/26 H04N7/30

    摘要: 本发明公开了一种由码率型转码辅助的视频空间分辨率转换方法,包含两项关键技术:一是根据目标空间分辨率对应的码率对解码得到的视频流进行码率型转码,并主动把高频信息置零,通过保持编码端和解码端的视频空间分辨率一致,来保证运动矢量和宏块模式复用的精确性,也有利于减少计算量和传输带宽。二是在用户端解码的同时对解码视频流按目标分辨率进行重采样。由于重采样的分辨率与码率型转码中频域亚采样的分辨率相匹配,因而可以有效抑制重采样引起的混叠效应,保证视频质量。另外,由于目前许多显示终端本身就具有重采样的功能,因此本方法在解码端产生的额外开销很小。本发明操作简单,适用于有线网络和移动无线网络的自适应实时视频传输。

    用于视频帧内编码的KLT矩阵训练方法

    公开(公告)号:CN101489134B

    公开(公告)日:2010-06-16

    申请号:CN200910060558.8

    申请日:2009-01-16

    IPC分类号: H04N7/26 H04N7/32

    摘要: 本发明提供一种用于视频帧内编码的KLT矩阵训练方法,属于信号处理中的视频编码领域。本发明首先提取每种帧内预测模式下的残差信号的频谱,然后,将残差样本进行分组并采用传统的方法训练得到候选KLT矩阵,对每个候选KLT矩阵采用低频子带优先的置换策略进行优化并计算优化后的变换性能,选择具有最佳变换性能的优化KLT矩阵作为该预测模式下残差信号的变换矩阵。本发明避免了在编码时实时训练KLT矩阵的巨大计算量,减少了用于表示训练矩阵的额外比特开销,训练得到的矩阵具有良好的变换性能。

    一种基于RGB-D图像的室内场景三维重建方法

    公开(公告)号:CN109658449A

    公开(公告)日:2019-04-19

    申请号:CN201811466786.0

    申请日:2018-12-03

    摘要: 本发明公开了一种基于RGB-D图像的室内场景三维重建方法,利用语义分割结果修复深度图像空洞,为三维重建提供物体轮廓与类别信息,根据先验知识获取到物体的形状和外观,从而为三维重建提供更加精确的数据。三维重建为语义分割提供三维空间信息,解决二维图像分割中存在的物体交叠、受光照影响等导致的误分割。使用多层次的相机位姿估计,稀疏的特征匹配提供粗略的估计位姿,再通过密集的几何、光度优化方法,得到精确相机位姿,为重建模型提供更加精确的相机位姿。在重建过程中,对每帧进行局部优化,同时加入关键帧机制,建立全局优化与闭环检测,将关键帧像素对应的空间点建立约束,有效抑制误差累积,进一步优化相机位姿,提高重建结果的精度。