公开(公告)号：US07728878B2

公开(公告)日：2010-06-01

申请号：US11485092

申请日：2006-07-12

申请人： Sehoon Yea ,  Emin Martinian ,  Anthony Vetro ,  Jong Dae Oh ,  Serdar Ince

发明人： Sehoon Yea ,  Emin Martinian ,  Anthony Vetro ,  Jong Dae Oh ,  Serdar Ince

IPC分类号： H04N5/225

CPC分类号： H04N19/615 ,  H04N13/243 ,  H04N19/103 ,  H04N19/105 ,  H04N19/13 ,  H04N19/147 ,  H04N19/176 ,  H04N19/46 ,  H04N19/573 ,  H04N19/597 ,  H04N19/61 ,  H04N19/63

摘要： A method processes a multiview videos of a scene, in which each video is acquired by a corresponding camera arranged at a particular pose, and in which a view of each camera overlaps with the view of at least one other camera. Side information for synthesizing a particular view of the multiview video is obtained in either an encoder or decoder. A synthesized multiview video is synthesized from the of multiview videos and the side information. A reference picture list is maintained for each current frame of each of the multiview videos, the reference picture indexes temporal reference pictures and spatial reference pictures of the acquired multiview videos and the synthesized reference pictures of the synthesized multiview video. Each current frame of the multiview videos is predicted according to reference pictures indexed by the associated reference picture list.

摘要翻译： 一种处理场景的多视点视频的方法，其中通过布置在特定姿态的相应摄像机获取每个视频，并且其中每个摄像机的视图与至少一个其他摄像机的视图重叠。 在编码器或解码器中获得用于合成多视图视频的特定视图的侧面信息。 合成的多视点视频是从多视点视频和侧面信息合成的。 维护每个多视角视频的每个当前帧的参考图片列表，参考图片索引所获取的多视角视频的时间参考图片和空间参考图片以及合成的多视角视频的合成参考图片。 根据由相​​关联的参考图片列表索引的参考图片预测多视图视频的每个当前帧。

公开(公告)号：US20070030356A1

公开(公告)日：2007-02-08

申请号：US11485092

申请日：2006-07-12

申请人： Sehoon Yea ,  Emin Martinian ,  Anthony Vetro ,  Jong Oh ,  Serdar Ince

发明人： Sehoon Yea ,  Emin Martinian ,  Anthony Vetro ,  Jong Oh ,  Serdar Ince

IPC分类号： H04N5/225 ,  H04N5/228

CPC分类号： H04N19/615 ,  H04N13/243 ,  H04N19/103 ,  H04N19/105 ,  H04N19/13 ,  H04N19/147 ,  H04N19/176 ,  H04N19/46 ,  H04N19/573 ,  H04N19/597 ,  H04N19/61 ,  H04N19/63

摘要： A method processes a multiview videos of a scene, in which each video is acquired by a corresponding camera arranged at a particular pose, and in which a view of each camera overlaps with the view of at least one other camera. Side information for synthesizing a particular view of the multiview video is obtained in either an encoder or decoder. A synthesized multiview video is synthesized from the of multiview videos and the side information. A reference picture list is maintained for each current frame of each of the multiview videos, the reference picture indexes temporal reference pictures and spatial reference pictures of the acquired multiview videos and the synthesized reference pictures of the synthesized multiview video. Each current frame of the multiview videos is predicted according to reference pictures indexed by the associated reference picture list.

摘要翻译： 一种处理场景的多视点视频的方法，其中通过布置在特定姿态的相应摄像机获取每个视频，并且其中每个摄像机的视图与至少一个其他摄像机的视图重叠。 在编码器或解码器中获得用于合成多视图视频的特定视图的侧面信息。 合成的多视点视频是从多视点视频和侧面信息合成的。 维护每个多视角视频的每个当前帧的参考图片列表，参考图片索引所获取的多视点视频的时间参考图片和空间参考图片以及合成的多视角视频的合成参考图片。 根据由相​​关联的参考图片列表索引的参考图片预测多视图视频的每个当前帧。

公开(公告)号：US20070121722A1

公开(公告)日：2007-05-31

申请号：US11385620

申请日：2006-03-21

申请人： Emin Martinian ,  Anthony Vetro ,  Jun Xin ,  Sehoon Yea ,  Huifang Sun

发明人： Emin Martinian ,  Anthony Vetro ,  Jun Xin ,  Sehoon Yea ,  Huifang Sun

IPC分类号： H04N7/12 ,  H04B1/66

CPC分类号： H04N19/615 ,  H04N19/105 ,  H04N19/13 ,  H04N19/46 ,  H04N19/597 ,  H04N19/61 ,  H04N19/63

摘要： A method randomly accesses multiview videos. Multiview videos are acquired of a scene with corresponding cameras arranged at poses, such that there is view overlap between any pair of cameras. V-frames are generated from the multiview videos. The V-frames are encoded using only spatial prediction. Then, the V-frames are inserted periodically in an encoded bit stream to provide random temporal access to the multiview videos. Additional view dependency information enables the decoding of a reduced number of frames prior to accessing randomly a target frame for a specified view and time, and decoding the target frame.

摘要翻译： 一种随机访问多视点视频的方法。 多视点视频被采集到具有以姿势布置的相应摄像机的场景，使得在任何一对摄像机之间存在视图重叠。 V帧是从多视角视频生成的。 V帧仅使用空间预测编码。 然后，将V帧周期性地插入到编码比特流中，以便为多视点视频提供随机的时间访问。 附加的视图依赖性信息使得能够在对指定的视图和时间的随机访问目标帧之前对减少数量的帧进行解码，以及对目标帧进行解码。

公开(公告)号：US07903737B2

公开(公告)日：2011-03-08

申请号：US11385620

申请日：2006-03-21

申请人： Emin Martinian ,  Anthony Vetro ,  Jun Xin ,  Sehoon Yea ,  Huifang Sun

发明人： Emin Martinian ,  Anthony Vetro ,  Jun Xin ,  Sehoon Yea ,  Huifang Sun

IPC分类号： H04B1/66 ,  H04N7/12 ,  H04N11/02 ,  H04N11/04

CPC分类号： H04N19/615 ,  H04N19/105 ,  H04N19/13 ,  H04N19/46 ,  H04N19/597 ,  H04N19/61 ,  H04N19/63

摘要： A method randomly accesses multiview videos. Multiview videos are acquired of a scene with corresponding cameras arranged at poses, such that there is view overlap between any pair of cameras. V-frames are generated from the multiview videos. The V-frames are encoded using only spatial prediction. Then, the V-frames are inserted periodically in an encoded bit stream to provide random temporal access to the multiview videos. Additional view dependency information enables the decoding of a reduced number of frames prior to accessing randomly a target frame for a specified view and time, and decoding the target frame.

摘要翻译： 一种随机访问多视点视频的方法。 多视点视频被采集到具有以姿势布置的相应摄像机的场景，使得在任何一对摄像机之间存在视图重叠。 V帧是从多视角视频生成的。 V帧仅使用空间预测编码。 然后，将V帧周期性地插入到编码比特流中，以便为多视点视频提供随机的时间访问。 附加的视图依赖性信息使得能够在对指定的视图和时间的随机访问目标帧之前对减少数量的帧进行解码，以及对目标帧进行解码。

公开(公告)号：US08374456B2

公开(公告)日：2013-02-12

申请号：US13456218

申请日：2012-04-26

申请人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

发明人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

IPC分类号： G06K9/40

CPC分类号： G06T3/40 ,  G06T5/005 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/10

摘要： A virtual image is synthesized from a reduced resolution depth image storing depth values at each pixel location. The reduced resolution depth image is scaled up to produce an up-scaled depth image. Then, at least one filter is applied to the up-scaled depth image to produce a reconstructed depth image, and the virtual image is synthesized using the reconstructed depth image.

摘要翻译： 从在每个像素位置处存储深度值的降低分辨率深度图像合成虚拟图像。 缩小的分辨率深度图像被放大以产生高比例的深度图像。 然后，将至少一个滤波器应用于扩大的深度图像以产生重建的深度图像，并且使用重构的深度图像来合成虚拟图像。

公开(公告)号：US20120269457A1

公开(公告)日：2012-10-25

申请号：US13456218

申请日：2012-04-26

申请人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

发明人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

IPC分类号： G06K9/32

CPC分类号： G06T3/40 ,  G06T5/005 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/10

摘要： A virtual image is synthesized from a reduced resolution depth image storing depth values at each pixel location. The reduced resolution depth image is scaled up to produce an up-scaled depth image. Then, at least one filter is applied to the up-scaled depth image to produce a reconstructed depth image, and the virtual image is synthesized using the reconstructed depth image.

摘要翻译： 从在每个像素位置处存储深度值的降低分辨率深度图像合成虚拟图像。 缩小的分辨率深度图像被放大以产生高比例的深度图像。 然后，将至少一个滤波器应用于扩大的深度图像以产生重建的深度图像，并且使用重构的深度图像来合成虚拟图像。

公开(公告)号：US08044994B2

公开(公告)日：2011-10-25

申请号：US11696596

申请日：2007-04-04

申请人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

发明人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

IPC分类号： H04N13/00 ,  H04N3/14 ,  H04N5/232

CPC分类号： H04N19/597 ,  H04N13/122 ,  H04N13/128 ,  H04N13/243

摘要： A method and system acquire and display light fields. A continuous light field is reconstructed from input samples of an input light field of a 3D scene acquired by cameras according to an acquisition parameterization. The continuous light is reparameterized according to a display parameterization and then prefiltering and sampled to produce output samples having the display parametrization. The output samples are displayed as an output light field using a 3D display device. The reconstruction can be performed by interpolating the input samples having the different views.

摘要翻译： 一种方法和系统获取和显示光场。 根据采集参数化，由摄像机获取的3D场景的输入光场的输入样本重建连续光场。 根据显示参数化对连续光进行重新参数化，然后对其进行预过滤和采样，以产生具有显示参数化的输出样本。 使用3D显示装置将输出样本显示为输出光场。 可以通过内插具有不同视图的输入样本来执行重建。

公开(公告)号：US20080043095A1

公开(公告)日：2008-02-21

申请号：US11696562

申请日：2007-04-04

申请人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

发明人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

IPC分类号： H04N15/00

CPC分类号： H04N19/597 ,  H04N13/111 ,  H04N13/122 ,  H04N13/161 ,  H04N13/398 ,  H04N2213/005

摘要： A method and system acquire and display light fields. A continuous light field is reconstructed from input samples of an input light field of a 3D scene acquired by cameras according to an acquisition parameterization. The continuous light is reparameterized according to a display parameterization and then prefiltering and sampled to produce output samples having the display parametrization. The output samples are displayed as an output light field using a 3D display device. The reconstruction can be performed by interpolating the input samples having the different views;

摘要翻译： 一种方法和系统获取和显示光场。 根据采集参数化，由摄像机获取的3D场景的输入光场的输入样本重建连续光场。 根据显示参数化对连续光进行重新参数化，然后对其进行预过滤和采样，以产生具有显示参数化的输出样本。 使用3D显示装置将输出样本显示为输出光场。 可以通过内插具有不同视图的输入样本来执行重建;

公开(公告)号：US08395642B2

公开(公告)日：2013-03-12

申请号：US12405912

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

IPC分类号： G09G5/00 ,  G06K9/00

CPC分类号： G06T3/0093 ,  G06T5/009 ,  G06T5/30 ,  G06T5/40 ,  G06T5/50 ,  G06T15/205 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/261 ,  H04N19/597

摘要： A method synthesizes virtual images from a sequence of texture images and a sequence of corresponding depth images, wherein each depth images stores depths d at pixel locations I(x, y). Each depth image, is preprocessed to produce a corresponding preprocessed depth image. A first reference image and a second reference image are from the sequence of texture images. Then, depth-based 3D warping, depth-based histogram matching, base plus assistant image blending, and depth-based in-painting are applied in order to synthesize a virtual image.

摘要翻译： 一种方法从纹理图像序列和相应深度图像的序列合成虚拟图像，其中每个深度图像存储像素位置I（x，y）处的深度d。 每个深度图像被预处理以产生相应的预处理深度图像。 第一参考图像和第二参考图像来自纹理图像序列。 然后，应用基于深度的3D翘曲，基于深度的直方图匹配，基础加辅助图像混合和基于深度的绘画，以便合成虚拟图像。

公开(公告)号：US08315426B2

公开(公告)日：2012-11-20

申请号：US12723324

申请日：2010-03-12

申请人： Sehoon Yea ,  Dongbo Min ,  Anthony Vetro

发明人： Sehoon Yea ,  Dongbo Min ,  Anthony Vetro

IPC分类号： G06K9/00

CPC分类号： G06T5/005 ,  G06T7/97 ,  G06T2207/10012 ,  G06T2207/20228

摘要： In stereo images that include occluded pixels and visible pixels, occlusions are handled by first determining, for the occluded pixels, initial disparity values and support for the initial disparity values using an initial support function, an occlusion map and disparities of the visible pixels neighboring the occluded pixels in the stereo images. Then, for the occluded pixels, final disparity values and support for the final disparity values are determined using the initial disparity values, a final support function and a normalization function in an iterative support-and-decision process.

摘要翻译： 在包括遮挡像素和可见像素的立体图像中，通过首先确定闭塞的像素初始视差值并使用初始支持函数来支持初始视差值来处理闭塞，闭塞图和邻近的可见像素的差异 立体图像中的遮挡像素。 然后，对于遮挡的像素，使用初始视差值，迭代支持和决策过程中的最终支持函数和归一化函数来确定最终视差值的最终视差值和支持。