基于深度图像渲染的多通道视频流编码器和解码器

    公开(公告)号:CN100563340C

    公开(公告)日:2009-11-25

    申请号:CN200810062865.5

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: H04N7/26 H04N13/00

    摘要: 本发明公开了一种基于深度图像渲染的多通道视频流编码器和解码器。本发明在对多通道视频流进行编码时,对中心通道视频流图像帧和深度图按照视频编码标准方法进行编码;根据通道重建后的图像帧和深度图,采用深度图像渲染技术得到邻近的待编码的辅助通道的预测图,对遮挡信息进行变换、量化、熵编码。本发明在对多通道视频压缩码流进行解码时,利用人类视觉系统的生理特点,采用深度图像渲染技术,根据两个相邻通道的图像帧和其深度图,得到位于该两个相邻通道中心位置的一个虚拟通道。在采用本发明解码器输出视频流的显示端,每个立体视点由一个高质量通道和一个虚拟通道构成,观众可以获得良好的立体视觉体验。

    一种音频压缩流的解码端错误恢复方法

    公开(公告)号:CN101308660A

    公开(公告)日:2008-11-19

    申请号:CN200810063029.9

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: G10L19/02

    摘要: 本发明公开了一种音频压缩流的解码端错误恢复方法,该方法包括检测得到当前MDCT域的解码音频流的第m帧发生帧丢失;将解码音频流的MDCT系数分为MDCT系数正弦成分和MDCT系数非正弦成分;对解码音频流的丢失帧的前后帧进行瞬态信息检测,判断丢失帧的前后帧是否为瞬态帧;若丢失帧的前后帧是瞬态帧,则采用瞬态帧恢复方法;若丢失帧的前后帧不是瞬态帧,则进行正弦成分系数恢复和非正弦成分系数恢复;输出恢复好的解码音频流六个步骤。该方法改进了在MDCT变换域上对丢失帧的前后帧的系数进行正弦估计与恢复的方法,使算法复杂度大大降低,并结合MDCT域瞬态估计算法解决了双重敲击声问题,效果突出。

    基于柱镜光栅LCD自由立体显示设备的通用立体图像分解方法

    公开(公告)号:CN101304541A

    公开(公告)日:2008-11-12

    申请号:CN200810062515.9

    申请日:2008-06-19

    申请人: 浙江大学

    摘要: 本发明公开了一种基于柱镜光栅LCD自由立体显示设备的通用立体图像分解方法。包括以下步骤:1)测量柱镜光栅的实际线数LPI值和实际倾斜角α值;2)根据实际线数LPI值和实际倾斜角α值以及立体图像的视点个数N和分辨率,将立体图像的RGB分量填充到N个视点图像的RGB分量中,得到N个粗略视点图像,其中,N≥2;3)对N个粗略视点图像中的部分RGB分量进行修正,得到最终的N个视点图像。本发明能够从具有特定视点个数、特定分辨率和特定光栅参数的立体图像中分解出具有不同视觉角度的N个视点图像,然后再利用通用的立体图像合成方法将其合成为所需分辨率、视点个数和光栅参数的立体图像,从而大大扩展了立体图像的应用领域。

    一种音频压缩流的解码端错误恢复方法

    公开(公告)号:CN101308660B

    公开(公告)日:2011-07-20

    申请号:CN200810063029.9

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: G10L19/02

    摘要: 本发明公开了一种音频压缩流的解码端错误恢复方法,该方法包括检测得到当前MDCT域的解码音频流的第m帧发生帧丢失;将解码音频流的MDCT系数分为MDCT系数正弦成分和MDCT系数非正弦成分;对解码音频流的丢失帧的前后帧进行瞬态信息检测,判断丢失帧的前后帧是否为瞬态帧;若丢失帧的前后帧是瞬态帧,则采用瞬态帧恢复方法;若丢失帧的前后帧不是瞬态帧,则进行正弦成分系数恢复和非正弦成分系数恢复;输出恢复好的解码音频流六个步骤。该方法改进了在MDCT变换域上对丢失帧的前后帧的系数进行正弦估计与恢复的方法,使算法复杂度大大降低,并结合MDCT域瞬态估计算法解决了双重敲击声问题,效果突出。

    基于柱镜光栅LCD自由立体显示设备的通用立体图像合成方法

    公开(公告)号:CN101304540A

    公开(公告)日:2008-11-12

    申请号:CN200810062513.X

    申请日:2008-06-19

    申请人: 浙江大学

    摘要: 本发明公开了一种基于柱镜光栅LCD自由立体显示设备的通用立体图像合成方法。包括以下步骤:1)测量柱镜光栅的实际线数LPI值和实际倾斜角α值;2)根据合成立体图像所需的视点个数N以及分辨率H*V,对N个视点图像进行采样,每个视点图像的垂直分辨率采样成V/v,而水平分辨率采样成H/h,其中,N≥2,v*h=N,v取最接近@@@@的整数值;3)根据实际线数LPI值和实际倾斜角α值以及LCD显示器的点距DOT,将经过采样的N个视点图像的RGB分量填充到立体图像的RGB分量中,得到所需的立体图像。本发明适用于具有任意线数LPI值和任意倾斜角α值的柱镜光栅,且能快速而高效地合成具有任意视点个数和任意分辨率的立体图像。

    基于柱镜光栅LCD自由立体显示设备的通用立体图像合成方法

    公开(公告)号:CN101304540B

    公开(公告)日:2010-06-02

    申请号:CN200810062513.X

    申请日:2008-06-19

    申请人: 浙江大学

    摘要: 本发明公开了一种基于柱镜光栅LCD自由立体显示设备的通用立体图像合成方法。包括以下步骤:1)测量柱镜光栅的实际线数LPI值和实际倾斜角α值;2)根据合成立体图像所需的视点个数N以及分辨率H*V,对N个视点图像进行采样,每个视点图像的垂直分辨率采样成V/v,而水平分辨率采样成H/h,其中,N≥2,v*h=N,v取最接近的整数值;3)根据实际线数LPI值和实际倾斜角α值以及LCD显示器的点距DOT,将经过采样的N个视点图像的RGB分量填充到立体图像的RGB分量中,得到所需的立体图像。本发明适用于具有任意线数LPI值和任意倾斜角α值的柱镜光栅,且能快速而高效地合成具有任意视点个数和任意分辨率的立体图像。

    基于深度图像渲染的多通道视频流编码器和解码器

    公开(公告)号:CN101309412A

    公开(公告)日:2008-11-19

    申请号:CN200810062865.5

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: H04N7/26 H04N13/00

    摘要: 本发明公开了一种基于深度图像渲染的多通道视频流编码器和解码器。本发明在对多通道视频流进行编码时,对中心通道视频流图像帧和深度图按照视频编码标准方法进行编码;根据通道重建后的图像帧和深度图,采用深度图像渲染技术得到邻近的待编码的辅助通道的预测图,对遮挡信息进行变换、量化、熵编码。本发明在对多通道视频压缩码流进行解码时,利用人类视觉系统的生理特点,采用深度图像渲染技术,根据两个相邻通道的图像帧和其深度图,得到位于该两个相邻通道中心位置的一个虚拟通道。在采用本发明解码器输出视频流的显示端,每个立体视点由一个高质量通道和一个虚拟通道构成,观众可以获得良好的立体视觉体验。

    基于柱镜光栅LCD自由立体显示设备的通用立体图像分解方法

    公开(公告)号:CN101304541B

    公开(公告)日:2010-06-02

    申请号:CN200810062515.9

    申请日:2008-06-19

    申请人: 浙江大学

    摘要: 本发明公开了一种基于柱镜光栅LCD自由立体显示设备的通用立体图像分解方法。包括以下步骤:1)测量柱镜光栅的实际线数LPI值和实际倾斜角α值;2)根据实际线数LPI值和实际倾斜角α值以及立体图像的视点个数N和分辨率,将立体图像的RGB分量填充到N个视点图像的RGB分量中,得到N个粗略视点图像,其中,N≥2;3)对N个粗略视点图像中的部分RGB分量进行修正,得到最终的N个视点图像。本发明能够从具有特定视点个数、特定分辨率和特定光栅参数的立体图像中分解出具有不同视觉角度的N个视点图像,然后再利用通用的立体图像合成方法将其合成为所需分辨率、视点个数和光栅参数的立体图像,从而大大扩展了立体图像的应用领域。

    基于柱镜光栅LCD自由立体显示设备的通用光栅参数测量方法

    公开(公告)号:CN100580408C

    公开(公告)日:2010-01-13

    申请号:CN200810062514.4

    申请日:2008-06-19

    申请人: 浙江大学

    IPC分类号: G01M11/02 G02B27/22 G06T7/00

    摘要: 本发明公开了一种基于柱镜光栅LCD自由立体显示设备的通用光栅参数测量方法。包括以下步骤:1)基于全黑全白RGB图像,估测柱镜光栅的实际倾斜角α值;2)基于全黑全白RGB图像,估测柱镜光栅的实际线数LPI值;3)基于实际场景多视点测试图像,微调柱镜光栅的实际倾斜角α值和实际线数LPI值,使其与柱镜光栅完全匹配。本发明与现有的光栅参数测量方法相比,具有以下优点:一是普适性高,适用于具有任意线数LPI值和任意倾斜角α值的柱镜光栅;二是简单方便,不需要打印测试图片,只要通过基于柱镜光栅的LCD自由立体显示设备进行观察,就能精确测量光栅参数;三是精度高,测量过程结合实际场景多视点测试图像,使测量得到的光栅参数更加精确。

    一种利用深度信息的多通道视频流编码方法

    公开(公告)号:CN100563339C

    公开(公告)日:2009-11-25

    申请号:CN200810062864.0

    申请日:2008-07-07

    申请人: 浙江大学

    IPC分类号: H04N7/26 H04N7/50 H04N13/00

    摘要: 本发明公开了一种利用深度信息的多通道视频流编码方法,将编码器设置成通道选择单元、深度产生单元、图像渲染单元和预测编码单元四个功能单元。采用深度图像渲染技术来挖掘主通道同多个辅通道在空间域上的相关性;根据主通道和辅通道在空间域上相关性的强弱,解耦主通道深度图周期和主通道图像组长度,耦合主通道深度图周期和辅通道图像组长度,以充分挖掘空间域上的相关性和时间域上的相关性;采用多个深度图像来渲染同一图像帧,以减少遮挡造成的渲染图像当中存在的空洞;编码并传输图像帧的遮挡信息,以获得高质量的重建图像帧。本发明保证了重建图像质量,提高了编码压缩性能。