基于深度和遮挡信息的虚拟视点合成方法

    公开(公告)号:CN100576934C

    公开(公告)日:2009-12-30

    申请号:CN200810062811.9

    申请日:2008-07-03

    申请人: 浙江大学

    IPC分类号: H04N13/00 H04N7/26 G06T7/00

    摘要: 本发明公开了一种基于深度和遮挡信息的虚拟视点合成方法。包括以下步骤:1)确定基于深度图像的绘制方法的3D绘制方程;2)根据参考视点与虚拟视点的空间位置,制定像素绘制顺序;3)利用基于深度图像的水平半像素绘制方法,参考主视点,绘制得到虚拟视点的图像;4)根据辅视点的遮挡信息,对虚拟视点图像进行遮挡补偿,得到高分辨率的虚拟视点图像;5)对高分辨率的图像进行变换,得到原始分辨率的图像;6)利用一种非对称的线性插值方法进行残余的空洞补偿;7)进行块效应平滑,得到高质量的虚拟视点合成图像。本发明适用于平行光轴相机阵列模型,待合成的虚拟视点在主视点和辅视点之间,可以高效的合成高质量的虚拟视点图像。

    基于矩阵分解的摄像机阵列标定方法

    公开(公告)号:CN100588269C

    公开(公告)日:2010-02-03

    申请号:CN200810121238.4

    申请日:2008-09-25

    申请人: 浙江大学

    IPC分类号: H04N13/00 H04N17/00 G06T7/00

    摘要: 本发明公开了一种基于矩阵分解的摄像机阵列标定方法。包括以下步骤:1)对摄像机编号并对标定板拍照,同时将所得的图像也按照拍照顺序及其对应的摄像机编号;2)利用标定板上特征点的实际物理坐标数据和拍照获得的图像数据求取摄像机的单应性矩阵;3)利用求得的单应性矩阵及其对应的摄像机和标定板的编号构造测量矩阵,并调整单应性矩阵的比例因子;4)根据摄像机阵列的排列情况——密集或稀疏,选择对应的方法对存在数据缺失的测量矩阵进行矩阵分解;5)添加度量约束,求解摄像机的内外参数;6)对所得数据做非线性优化。本发明适用于以任何方式排列的摄像机阵列,可精确获得所有摄像机的内外参数。

    基于深度图像渲染的多通道视频流编码器和解码器

    公开(公告)号:CN101309412A

    公开(公告)日:2008-11-19

    申请号:CN200810062865.5

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: H04N7/26 H04N13/00

    摘要: 本发明公开了一种基于深度图像渲染的多通道视频流编码器和解码器。本发明在对多通道视频流进行编码时,对中心通道视频流图像帧和深度图按照视频编码标准方法进行编码;根据通道重建后的图像帧和深度图,采用深度图像渲染技术得到邻近的待编码的辅助通道的预测图,对遮挡信息进行变换、量化、熵编码。本发明在对多通道视频压缩码流进行解码时,利用人类视觉系统的生理特点,采用深度图像渲染技术,根据两个相邻通道的图像帧和其深度图,得到位于该两个相邻通道中心位置的一个虚拟通道。在采用本发明解码器输出视频流的显示端,每个立体视点由一个高质量通道和一个虚拟通道构成,观众可以获得良好的立体视觉体验。

    一种自然三维电视系统
    4.
    发明授权

    公开(公告)号:CN101312542B

    公开(公告)日:2010-09-08

    申请号:CN200810062854.7

    申请日:2008-07-07

    摘要: 本发明公开了一种自然三维电视系统。由多目立体相机获取场景的彩色图像,经图像校正模块进行亮度和色彩补偿后,通过内容制作模块提取出三路码流,三路码流为主相机彩色图像、主相机深度图像和辅相机的遮挡信息;接着用标准编码器进行分层编码,产生的压缩码流在信道上传输至标准解码器,经标准解码器重新解码成三路码流;这三路码流通过视点重构模块,重构出主相机视点、辅相机视点和虚拟视点,经显示处理模块合成一个适合显示器显示的图像,通过显示设备显示。本发明的优势在于兼容于传统2D,能重构的侧向视点多,但同时又能保证传输码率低。

    基于深度图像渲染的多通道视频流编码器和解码器

    公开(公告)号:CN100563340C

    公开(公告)日:2009-11-25

    申请号:CN200810062865.5

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: H04N7/26 H04N13/00

    摘要: 本发明公开了一种基于深度图像渲染的多通道视频流编码器和解码器。本发明在对多通道视频流进行编码时,对中心通道视频流图像帧和深度图按照视频编码标准方法进行编码;根据通道重建后的图像帧和深度图,采用深度图像渲染技术得到邻近的待编码的辅助通道的预测图,对遮挡信息进行变换、量化、熵编码。本发明在对多通道视频压缩码流进行解码时,利用人类视觉系统的生理特点,采用深度图像渲染技术,根据两个相邻通道的图像帧和其深度图,得到位于该两个相邻通道中心位置的一个虚拟通道。在采用本发明解码器输出视频流的显示端,每个立体视点由一个高质量通道和一个虚拟通道构成,观众可以获得良好的立体视觉体验。

    用于三维电视的分级图像深度提取方法

    公开(公告)号:CN101312539A

    公开(公告)日:2008-11-26

    申请号:CN200810062810.4

    申请日:2008-07-03

    申请人: 浙江大学

    IPC分类号: H04N13/00 G06T7/00

    摘要: 本发明公开了一种用于三维电视的分级图像深度提取方法。包括以下步骤:(1)利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列;(2)对图像的边缘点进行特征匹配,得到边缘点的深度值;(3)根据边缘点的深度值,将图像分成几个不同深度层次的区域,在每个区域内,采用基于块的分级块大小的区域匹配,并计算每个块的深度;(4)对每个块边界进行滤波以去除块效应,使块边界过渡平滑。本发明利用的特征匹配和区域匹配相结合的方法,避免了单独适用两种匹配而导致的不足,得到一个精确而高密度的视差场;同时分级块大小的匹配,可以很好地实现在处理速度和精确度上的折衷。

    用于三维电视的分级图像深度提取方法

    公开(公告)号:CN101312539B

    公开(公告)日:2010-11-10

    申请号:CN200810062810.4

    申请日:2008-07-03

    申请人: 浙江大学

    IPC分类号: G06T7/00

    摘要: 本发明公开了一种用于三维电视的分级图像深度提取方法。包括以下步骤:(1)利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列;(2)对图像的边缘点进行特征匹配,得到边缘点的深度值;(3)根据边缘点的深度值,将图像分成几个不同深度层次的区域,在每个区域内,采用基于块的分级块大小的区域匹配,并计算每个块的深度;(4)对每个块边界进行滤波以去除块效应,使块边界过渡平滑。本发明利用的特征匹配和区域匹配相结合的方法,避免了单独适用两种匹配而导致的不足,得到一个精确而高密度的视差场;同时分级块大小的匹配,可以很好地实现在处理速度和精确度上的折衷。

    一种利用深度信息的多通道视频流编码方法

    公开(公告)号:CN100563339C

    公开(公告)日:2009-11-25

    申请号:CN200810062864.0

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: H04N7/26 H04N7/50 H04N13/00

    摘要: 本发明公开了一种利用深度信息的多通道视频流编码方法,将编码器设置成通道选择单元、深度产生单元、图像渲染单元和预测编码单元四个功能单元。采用深度图像渲染技术来挖掘主通道同多个辅通道在空间域上的相关性;根据主通道和辅通道在空间域上相关性的强弱,解耦主通道深度图周期和主通道图像组长度,耦合主通道深度图周期和辅通道图像组长度,以充分挖掘空间域上的相关性和时间域上的相关性;采用多个深度图像来渲染同一图像帧,以减少遮挡造成的渲染图像当中存在的空洞;编码并传输图像帧的遮挡信息,以获得高质量的重建图像帧。本发明保证了重建图像质量,提高了编码压缩性能。

    基于矩阵分解的摄像机阵列标定方法

    公开(公告)号:CN101365140A

    公开(公告)日:2009-02-11

    申请号:CN200810121238.4

    申请日:2008-09-25

    申请人: 浙江大学

    IPC分类号: H04N13/00 H04N17/00 G06T7/00

    摘要: 本发明公开了一种基于矩阵分解的摄像机阵列标定方法。包括以下步骤:1)对摄像机编号并对标定板拍照,同时将所得的图像也按照拍照顺序及其对应的摄像机编号;2)利用标定板上特征点的实际物理坐标数据和拍照获得的图像数据求取摄像机的单应性矩阵;3)利用求得的单应性矩阵及其对应的摄像机和标定板的编号构造测量矩阵,并调整单应性矩阵的比例因子;4)根据摄像机阵列的排列情况——密集或稀疏,选择对应的方法对存在数据缺失的测量矩阵进行矩阵分解;5)添加度量约束,求解摄像机的内外参数;6)对所得数据做非线性优化。本发明适用于以任何方式排列的摄像机阵列,可精确获得所有摄像机的内外参数。

    一种自然三维电视系统
    10.
    发明公开

    公开(公告)号:CN101312542A

    公开(公告)日:2008-11-26

    申请号:CN200810062854.7

    申请日:2008-07-07

    摘要: 本发明公开了一种自然三维电视系统。由多目立体相机获取场景的彩色图像,经图像校正模块进行亮度和色彩补偿后,通过内容制作模块提取出三路码流,三路码流为主相机彩色图像、主相机深度图像和辅相机的遮挡信息;接着用标准编码器进行分层编码,产生的压缩码流在信道上传输至标准解码器,经标准解码器重新解码成三路码流;这三路码流通过视点重构模块,重构出主相机视点、辅相机视点和虚拟视点,经显示处理模块合成一个适合显示器显示的图像,通过显示设备显示。本发明的优势在于兼容于传统2D,能重构的侧向视点多,但同时又能保证传输码率低。