公开(公告)号：US08395642B2

公开(公告)日：2013-03-12

申请号：US12405912

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

IPC分类号： G09G5/00 ,  G06K9/00

CPC分类号： G06T3/0093 ,  G06T5/009 ,  G06T5/30 ,  G06T5/40 ,  G06T5/50 ,  G06T15/205 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/261 ,  H04N19/597

摘要： A method synthesizes virtual images from a sequence of texture images and a sequence of corresponding depth images, wherein each depth images stores depths d at pixel locations I(x, y). Each depth image, is preprocessed to produce a corresponding preprocessed depth image. A first reference image and a second reference image are from the sequence of texture images. Then, depth-based 3D warping, depth-based histogram matching, base plus assistant image blending, and depth-based in-painting are applied in order to synthesize a virtual image.

摘要翻译： 一种方法从纹理图像序列和相应深度图像的序列合成虚拟图像，其中每个深度图像存储像素位置I（x，y）处的深度d。 每个深度图像被预处理以产生相应的预处理深度图像。 第一参考图像和第二参考图像来自纹理图像序列。 然后，应用基于深度的3D翘曲，基于深度的直方图匹配，基础加辅助图像混合和基于深度的绘画，以便合成虚拟图像。

公开(公告)号：US08270752B2

公开(公告)日：2012-09-18

申请号：US12405864

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

IPC分类号： G06K9/40

CPC分类号： G06T5/002 ,  G06T2207/10028 ,  G06T2207/20012 ,  G06T2207/20028 ,  G06T2207/20032

摘要： A method filters a depth image, wherein each depth image includes an array of pixels at locations (x, y), and wherein each pixel has a depth. A moving window is applied to the pixels in the depth image, wherein a size of the window covers a set of pixels centered at each pixel. A single representative depth from the set of pixel in the window is assigned to the pixel to produce a processed depth image. Then, each pixel in the processed depth image is filtered to correct outlier depths without blurring depth discontinuities to produce a filtered depth image.

摘要翻译： 一种方法对深度图像进行过滤，其中每个深度图像包括位置（x，y）处的像素阵列，并且其中每个像素具有深度。 将移动窗口应用于深度图像中的像素，其中窗口的大小覆盖以每个像素为中心的一组像素。 将来自窗口中的像素集合的单个代表深度分配给像素以产生经处理的深度图像。 然后，对经处理的深度图像中的每个像素进行滤波以校正离群深度，而不会模糊深度不连续性，以产生滤波深度图像。

公开(公告)号：US20100239180A1

公开(公告)日：2010-09-23

申请号：US12405864

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

IPC分类号： G06K9/40

CPC分类号： G06T5/002 ,  G06T2207/10028 ,  G06T2207/20012 ,  G06T2207/20028 ,  G06T2207/20032

摘要： A method filters a depth image, wherein each depth image includes an array of pixels at locations (x, y), and wherein each pixel has a depth. A moving window is applied to the pixels in the depth image, wherein a size of the window covers a set of pixels centered at each pixel. A single representative depth from the set of pixel in the window is assigned to the pixel to produce a processed depth image. Then, each pixel in the processed depth image is filtered to correct outlier depths without blurring depth discontinuities to produce a filtered depth image.

摘要翻译： 一种方法对深度图像进行过滤，其中每个深度图像包括位置（x，y）处的像素阵列，并且其中每个像素具有深度。 将移动窗口应用于深度图像中的像素，其中窗口的大小覆盖以每个像素为中心的一组像素。 将来自窗口中的像素集合的单个代表深度分配给像素以产生经处理的深度图像。 然后，对经处理的深度图像中的每个像素进行滤波以校正离群深度，而不会模糊深度不连续性，以产生滤波深度图像。

公开(公告)号：US20100238160A1

公开(公告)日：2010-09-23

申请号：US12405912

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

IPC分类号： G06T15/00

CPC分类号： G06T3/0093 ,  G06T5/009 ,  G06T5/30 ,  G06T5/40 ,  G06T5/50 ,  G06T15/205 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/261 ,  H04N19/597

摘要： A method synthesizes virtual images from a sequence of texture images and a sequence of corresponding depth images, wherein each depth images stores depths d at pixel locations I(x, y). Each depth image, is preprocessed to produce a corresponding preprocessed depth image. A first reference image and a second reference image are from the sequence of texture images. Then, depth-based 3D warping, depth-based histogram matching, base plus assistant image blending, and depth-based in-painting are applied in order to synthesize a virtual image.

摘要翻译： 一种方法从纹理图像序列和相应深度图像的序列合成虚拟图像，其中每个深度图像存储像素位置I（x，y）处的深度d。 每个深度图像被预处理以产生相应的预处理深度图像。 第一参考图像和第二参考图像来自纹理图像序列。 然后，应用基于深度的3D翘曲，基于深度的直方图匹配，基础加辅助图像混合和基于深度的绘画，以便合成虚拟图像。

公开(公告)号：US08315426B2

公开(公告)日：2012-11-20

申请号：US12723324

申请日：2010-03-12

申请人： Sehoon Yea ,  Dongbo Min ,  Anthony Vetro

发明人： Sehoon Yea ,  Dongbo Min ,  Anthony Vetro

IPC分类号： G06K9/00

CPC分类号： G06T5/005 ,  G06T7/97 ,  G06T2207/10012 ,  G06T2207/20228

摘要： In stereo images that include occluded pixels and visible pixels, occlusions are handled by first determining, for the occluded pixels, initial disparity values and support for the initial disparity values using an initial support function, an occlusion map and disparities of the visible pixels neighboring the occluded pixels in the stereo images. Then, for the occluded pixels, final disparity values and support for the final disparity values are determined using the initial disparity values, a final support function and a normalization function in an iterative support-and-decision process.

摘要翻译： 在包括遮挡像素和可见像素的立体图像中，通过首先确定闭塞的像素初始视差值并使用初始支持函数来支持初始视差值来处理闭塞，闭塞图和邻近的可见像素的差异 立体图像中的遮挡像素。 然后，对于遮挡的像素，使用初始视差值，迭代支持和决策过程中的最终支持函数和归一化函数来确定最终视差值的最终视差值和支持。

公开(公告)号：US20100239187A1

公开(公告)日：2010-09-23

申请号：US12405884

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jun Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jun Oh ,  Anthony Vetro

IPC分类号： G06K9/32

CPC分类号： G06T3/40 ,  G06T5/005 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/10

摘要： A method up-samples images in a reduced resolution video, wherein each image I(x, y) stores depths d at pixel locations (x, y). each depth image is scaled up to produce a corresponding up-scaled image. Then, image dilation, a median filter, image erosion, and a min-max filter are applied in order to produce a corresponding up-sampled image.

摘要翻译： 一种方法以降低分辨率的视频对图像进行上采样，其中每个图像I（x，y）存储像素位置（x，y）处的深度d。 每个深度图像被放大以产生相应的升幅图像。 然后，应用图像扩张，中值滤波，图像侵蚀和最小 - 最大滤波器，以产生相应的上采样图像。

公开(公告)号：US20070109409A1

公开(公告)日：2007-05-17

申请号：US11621400

申请日：2007-01-09

申请人： Sehoon Yea ,  Anthony Vetro

发明人： Sehoon Yea ,  Anthony Vetro

IPC分类号： H04N7/18

CPC分类号： H04N19/122 ,  H04N7/181 ,  H04N19/13 ,  H04N19/132 ,  H04N19/14 ,  H04N19/147 ,  H04N19/159 ,  H04N19/172 ,  H04N19/174 ,  H04N19/176 ,  H04N19/423 ,  H04N19/46 ,  H04N19/51 ,  H04N19/52 ,  H04N19/54 ,  H04N19/573 ,  H04N19/577 ,  H04N19/593 ,  H04N19/597 ,  H04N19/61 ,  H04N19/615 ,  H04N19/63 ,  H04N19/635 ,  H04N19/70

摘要： A method processes a multiview videos of a scene, in which each video is acquired by a corresponding camera arranged at a particular pose, and in which a view of each camera overlaps with the view of at least one other camera. Side information for synthesizing a particular view of the multiview video is obtained in either an encoder or decoder. A synthesized multiview video is synthesized from the multiview videos and the side information. A reference picture list is maintained for each current frame of each of the multiview videos, the reference picture indexes temporal reference pictures and spatial reference pictures of the acquired multiview videos and the synthesized reference pictures of the synthesized multiview video. Each current frame of the multiview videos is predicted according to reference pictures indexed by the associated reference picture list with a skip mode and a direct mode, whereby the side information is inferred from the synthesized reference picture.

摘要翻译： 一种处理场景的多视点视频的方法，其中通过布置在特定姿态的相应摄像机获取每个视频，并且其中每个摄像机的视图与至少一个其他摄像机的视图重叠。 在编码器或解码器中获得用于合成多视图视频的特定视图的侧面信息。 合成的多视点视频是从多视点视频和侧面信息合成的。 维护每个多视角视频的每个当前帧的参考图片列表，参考图片索引所获取的多视角视频的时间参考图片和空间参考图片以及合成的多视角视频的合成参考图片。 根据由相​​关联的参考图像列表以跳过模式和直接模式索引的参考图像来预测多视图视频的每个当前帧，由此从合成的参考图片推断出侧面信息。

公开(公告)号：US08374456B2

公开(公告)日：2013-02-12

申请号：US13456218

申请日：2012-04-26

申请人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

发明人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

IPC分类号： G06K9/40

CPC分类号： G06T3/40 ,  G06T5/005 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/10

摘要： A virtual image is synthesized from a reduced resolution depth image storing depth values at each pixel location. The reduced resolution depth image is scaled up to produce an up-scaled depth image. Then, at least one filter is applied to the up-scaled depth image to produce a reconstructed depth image, and the virtual image is synthesized using the reconstructed depth image.

摘要翻译： 从在每个像素位置处存储深度值的降低分辨率深度图像合成虚拟图像。 缩小的分辨率深度图像被放大以产生高比例的深度图像。 然后，将至少一个滤波器应用于扩大的深度图像以产生重建的深度图像，并且使用重构的深度图像来合成虚拟图像。

公开(公告)号：US20120269457A1

公开(公告)日：2012-10-25

申请号：US13456218

申请日：2012-04-26

申请人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

发明人： Anthony Vetro ,  Sehoon Yea ,  Kwan-Jun Oh

IPC分类号： G06K9/32

CPC分类号： G06T3/40 ,  G06T5/005 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/10

摘要： A virtual image is synthesized from a reduced resolution depth image storing depth values at each pixel location. The reduced resolution depth image is scaled up to produce an up-scaled depth image. Then, at least one filter is applied to the up-scaled depth image to produce a reconstructed depth image, and the virtual image is synthesized using the reconstructed depth image.

摘要翻译： 从在每个像素位置处存储深度值的降低分辨率深度图像合成虚拟图像。 缩小的分辨率深度图像被放大以产生高比例的深度图像。 然后，将至少一个滤波器应用于扩大的深度图像以产生重建的深度图像，并且使用重构的深度图像来合成虚拟图像。

公开(公告)号：US08044994B2

公开(公告)日：2011-10-25

申请号：US11696596

申请日：2007-04-04

申请人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

发明人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

IPC分类号： H04N13/00 ,  H04N3/14 ,  H04N5/232

CPC分类号： H04N19/597 ,  H04N13/122 ,  H04N13/128 ,  H04N13/243

摘要： A method and system acquire and display light fields. A continuous light field is reconstructed from input samples of an input light field of a 3D scene acquired by cameras according to an acquisition parameterization. The continuous light is reparameterized according to a display parameterization and then prefiltering and sampled to produce output samples having the display parametrization. The output samples are displayed as an output light field using a 3D display device. The reconstruction can be performed by interpolating the input samples having the different views.

摘要翻译： 一种方法和系统获取和显示光场。 根据采集参数化，由摄像机获取的3D场景的输入光场的输入样本重建连续光场。 根据显示参数化对连续光进行重新参数化，然后对其进行预过滤和采样，以产生具有显示参数化的输出样本。 使用3D显示装置将输出样本显示为输出光场。 可以通过内插具有不同视图的输入样本来执行重建。