公开(公告)号：US08189943B2

公开(公告)日：2012-05-29

申请号：US12405884

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jun Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jun Oh ,  Anthony Vetro

IPC分类号： G06K9/42

CPC分类号： G06T3/40 ,  G06T5/005 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/10

摘要： A method up-samples images in a reduced resolution video, wherein each image I(x, y) stores depths d at pixel locations (x, y). each depth image is scaled up to produce a corresponding up-scaled image. Then, image dilation, a median filter, image erosion, and a min-max filter are applied in order to produce a corresponding up-sampled image.

摘要翻译： 一种方法以降低分辨率的视频对图像进行上采样，其中每个图像I（x，y）存储像素位置（x，y）处的深度d。 每个深度图像被放大以产生相应的升幅图像。 然后，应用图像扩张，中值滤波，图像侵蚀和最小 - 最大滤波器，以产生相应的上采样图像。

公开(公告)号：US07916934B2

公开(公告)日：2011-03-29

申请号：US11696562

申请日：2007-04-04

申请人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

发明人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

IPC分类号： G06K9/00

CPC分类号： H04N19/597 ,  H04N13/111 ,  H04N13/122 ,  H04N13/161 ,  H04N13/398 ,  H04N2213/005

摘要： A method and system acquire and display light fields. A continuous light field is reconstructed from input samples of an input light field of a 3D scene acquired by cameras according to an acquisition parameterization. The continuous light is reparameterized according to a display parameterization and then prefiltering and sampled to produce output samples having the display parameterization. The output samples are displayed as an output light field using a 3D display device. The reconstruction can be performed by interpolating the input samples having the different views.

摘要翻译： 一种方法和系统获取和显示光场。 根据采集参数化，由摄像机获取的3D场景的输入光场的输入样本重建连续光场。 根据显示参数化对连续光进行重新参数化，然后对其进行预过滤和采样，以产生具有显示参数化的输出样本。 使用3D显示装置将输出样本显示为输出光场。 可以通过内插具有不同视图的输入样本来执行重建。

公开(公告)号：US07822286B2

公开(公告)日：2010-10-26

申请号：US11866476

申请日：2007-10-03

申请人： Sehoon Yea ,  Dung Trung Vo ,  Anthony Vetro

发明人： Sehoon Yea ,  Dung Trung Vo ,  Anthony Vetro

IPC分类号： G06K9/56 ,  G06K9/62 ,  G06K9/40

CPC分类号： G06T5/50 ,  G06T5/002 ,  G06T5/20 ,  G06T2207/10016 ,  G06T2207/20012 ,  G06T2207/20021 ,  G06T2207/20182 ,  G06T2207/20192

摘要： A method filters pixels in a sequence of images. Each image in the sequence is partitioned into blocks of pixels, and the images are processed sequentially. The energy is determined for each block of pixels in each image. The energy of each block is based on variances of intensities of the pixels in the sequence of images. A 3D fuzzy filter is applied to each current pixel in each current block during the sequential processing. The 3D fuzzy filter considers the energy of the block, and the intensities of pixels spatially adjacent and temporally adjacent to the current pixel to remove blocking and ringing artifacts.

摘要翻译： 一种方法可以过滤图像序列中的像素。 序列中的每个图像被分割成像素块，并且顺序地处理图像。 为每个图像中的每个像素块确定能量。 每个块的能量基于图像序列中的像素的强度的方差。 在顺序处理期间，将3D模糊滤波器应用于每个当前块中的每个当前像素。 3D模糊滤波器考虑了块的能量，以及与当前像素空间相邻和时间相邻的像素的强度，以消除阻塞和振铃伪像。

公开(公告)号：US20100239180A1

公开(公告)日：2010-09-23

申请号：US12405864

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

IPC分类号： G06K9/40

CPC分类号： G06T5/002 ,  G06T2207/10028 ,  G06T2207/20012 ,  G06T2207/20028 ,  G06T2207/20032

摘要： A method filters a depth image, wherein each depth image includes an array of pixels at locations (x, y), and wherein each pixel has a depth. A moving window is applied to the pixels in the depth image, wherein a size of the window covers a set of pixels centered at each pixel. A single representative depth from the set of pixel in the window is assigned to the pixel to produce a processed depth image. Then, each pixel in the processed depth image is filtered to correct outlier depths without blurring depth discontinuities to produce a filtered depth image.

摘要翻译： 一种方法对深度图像进行过滤，其中每个深度图像包括位置（x，y）处的像素阵列，并且其中每个像素具有深度。 将移动窗口应用于深度图像中的像素，其中窗口的大小覆盖以每个像素为中心的一组像素。 将来自窗口中的像素集合的单个代表深度分配给像素以产生经处理的深度图像。 然后，对经处理的深度图像中的每个像素进行滤波以校正离群深度，而不会模糊深度不连续性，以产生滤波深度图像。

公开(公告)号：US20080043096A1

公开(公告)日：2008-02-21

申请号：US11696596

申请日：2007-04-04

申请人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

发明人： Anthony Vetro ,  Sehoon Yea ,  Wojciech Matusik ,  Hanspeter Pfister ,  Matthias Zwicker

IPC分类号： H04N15/00

CPC分类号： H04N19/597 ,  H04N13/122 ,  H04N13/128 ,  H04N13/243

摘要： A method and system acquire and display light fields. A continuous light field is reconstructed from input samples of an input light field of a 3D scene acquired by cameras according to an acquisition parameterization. The continuous light is reparameterized according to a display parameterization and then prefiltering and sampled to produce output samples having the display parametrization. The output samples are displayed as an output light field using a 3D display device. The reconstruction can be performed by interpolating the input samples having the different views;

摘要翻译： 一种方法和系统获取和显示光场。 根据采集参数化，由摄像机获取的3D场景的输入光场的输入样本重建连续光场。 根据显示参数化对连续光进行重新参数化，然后对其进行预过滤和采样，以产生具有显示参数化的输出样本。 使用3D显示装置将输出样本显示为输出光场。 可以通过内插具有不同视图的输入样本来执行重建;

公开(公告)号：US09509972B2

公开(公告)日：2016-11-29

申请号：US14129205

申请日：2012-06-21

申请人： Sehoon Yea ,  Eunyong Son ,  Jaewon Sung ,  Jiwook Jung

发明人： Sehoon Yea ,  Eunyong Son ,  Jaewon Sung ,  Jiwook Jung

IPC分类号： H04N7/18 ,  H04N13/00 ,  H04N19/597 ,  H04N19/105 ,  H04N19/176 ,  H04N19/14 ,  H04N19/154 ,  H04N19/187

CPC分类号： H04N13/128 ,  H04N19/105 ,  H04N19/14 ,  H04N19/154 ,  H04N19/176 ,  H04N19/187 ,  H04N19/597

摘要： Disclosed are an encoding/decoding method and apparatus using a skip mode. The image decoding method comprises: generating a warping prediction depth image unit, and then decoding skip information regarding an image unit to be decoded; and decoding the image unit to be decoded using a skip mode based on the skip information. The skip information may be determined based on depth information of the warping prediction depth image unit, depth information of the image unit to be decoded, or edge information of a text picture image unit corresponding to the image unit to be decoded. Thus, an unnecessary prediction process need not be performed during the encoding and decoding of the image unit, thereby improving image encoding and decoding efficiency.

公开(公告)号：US08290248B2

公开(公告)日：2012-10-16

申请号：US12651200

申请日：2009-12-31

申请人： Sehoon Yea ,  Dongbo Min ,  Zafer Arican ,  Anthony Vetro

发明人： Sehoon Yea ,  Dongbo Min ,  Zafer Arican ,  Anthony Vetro

IPC分类号： G06K9/00

CPC分类号： G06T7/593 ,  G06T2207/10021

摘要： Embodiments of the invention disclose a system and a method for determining a disparity search range for a current stereo image of a scene based on a set of stereo images of the scene, comprising steps of: selecting a subset of stereo images from the set of stereo images, the subset includes the current stereo image and at least one neighboring stereo image, wherein the neighboring stereo image is temporally-neighboring to the current stereo image; determining a disparity histogram for each stereo image in the subset of stereo images to form a set of disparity histograms; determining a weighted disparity histogram as a weighted sum of the disparity histograms in the set of disparity histograms; and determining the disparity search range from the weighted disparity histogram.

摘要翻译： 本发明的实施例公开了一种用于基于场景的一组立体图像来确定场景的当前立体图像的视差搜索范围的系统和方法，包括以下步骤：从立体声集合中选择立体图像的子集 图像，所述子集包括当前立体声图像和至少一个邻近立体图像，其中相邻立体图像与当前立体图像在时间上相邻; 确定立体图像子集中的每个立体图像的视差直方图以形成一组视差直方图; 将加权视差直方图确定为视差直方图组中的视差直方图的加权和; 并从加权视差直方图确定视差搜索范围。

公开(公告)号：US20100238160A1

公开(公告)日：2010-09-23

申请号：US12405912

申请日：2009-03-17

申请人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

发明人： Sehoon Yea ,  Kwan-Jung Oh ,  Anthony Vetro

IPC分类号： G06T15/00

CPC分类号： G06T3/0093 ,  G06T5/009 ,  G06T5/30 ,  G06T5/40 ,  G06T5/50 ,  G06T15/205 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20028 ,  G06T2207/20036 ,  H04N13/261 ,  H04N19/597

摘要： A method synthesizes virtual images from a sequence of texture images and a sequence of corresponding depth images, wherein each depth images stores depths d at pixel locations I(x, y). Each depth image, is preprocessed to produce a corresponding preprocessed depth image. A first reference image and a second reference image are from the sequence of texture images. Then, depth-based 3D warping, depth-based histogram matching, base plus assistant image blending, and depth-based in-painting are applied in order to synthesize a virtual image.

摘要翻译： 一种方法从纹理图像序列和相应深度图像的序列合成虚拟图像，其中每个深度图像存储像素位置I（x，y）处的深度d。 每个深度图像被预处理以产生相应的预处理深度图像。 第一参考图像和第二参考图像来自纹理图像序列。 然后，应用基于深度的3D翘曲，基于深度的直方图匹配，基础加辅助图像混合和基于深度的绘画，以便合成虚拟图像。

公开(公告)号：US07728878B2

公开(公告)日：2010-06-01

申请号：US11485092

申请日：2006-07-12

申请人： Sehoon Yea ,  Emin Martinian ,  Anthony Vetro ,  Jong Dae Oh ,  Serdar Ince

发明人： Sehoon Yea ,  Emin Martinian ,  Anthony Vetro ,  Jong Dae Oh ,  Serdar Ince

IPC分类号： H04N5/225

CPC分类号： H04N19/615 ,  H04N13/243 ,  H04N19/103 ,  H04N19/105 ,  H04N19/13 ,  H04N19/147 ,  H04N19/176 ,  H04N19/46 ,  H04N19/573 ,  H04N19/597 ,  H04N19/61 ,  H04N19/63

摘要： A method processes a multiview videos of a scene, in which each video is acquired by a corresponding camera arranged at a particular pose, and in which a view of each camera overlaps with the view of at least one other camera. Side information for synthesizing a particular view of the multiview video is obtained in either an encoder or decoder. A synthesized multiview video is synthesized from the of multiview videos and the side information. A reference picture list is maintained for each current frame of each of the multiview videos, the reference picture indexes temporal reference pictures and spatial reference pictures of the acquired multiview videos and the synthesized reference pictures of the synthesized multiview video. Each current frame of the multiview videos is predicted according to reference pictures indexed by the associated reference picture list.

摘要翻译： 一种处理场景的多视点视频的方法，其中通过布置在特定姿态的相应摄像机获取每个视频，并且其中每个摄像机的视图与至少一个其他摄像机的视图重叠。 在编码器或解码器中获得用于合成多视图视频的特定视图的侧面信息。 合成的多视点视频是从多视点视频和侧面信息合成的。 维护每个多视角视频的每个当前帧的参考图片列表，参考图片索引所获取的多视角视频的时间参考图片和空间参考图片以及合成的多视角视频的合成参考图片。 根据由相​​关联的参考图片列表索引的参考图片预测多视图视频的每个当前帧。

公开(公告)号：US20070121722A1

公开(公告)日：2007-05-31

申请号：US11385620

申请日：2006-03-21

申请人： Emin Martinian ,  Anthony Vetro ,  Jun Xin ,  Sehoon Yea ,  Huifang Sun

发明人： Emin Martinian ,  Anthony Vetro ,  Jun Xin ,  Sehoon Yea ,  Huifang Sun

IPC分类号： H04N7/12 ,  H04B1/66

CPC分类号： H04N19/615 ,  H04N19/105 ,  H04N19/13 ,  H04N19/46 ,  H04N19/597 ,  H04N19/61 ,  H04N19/63

摘要： A method randomly accesses multiview videos. Multiview videos are acquired of a scene with corresponding cameras arranged at poses, such that there is view overlap between any pair of cameras. V-frames are generated from the multiview videos. The V-frames are encoded using only spatial prediction. Then, the V-frames are inserted periodically in an encoded bit stream to provide random temporal access to the multiview videos. Additional view dependency information enables the decoding of a reduced number of frames prior to accessing randomly a target frame for a specified view and time, and decoding the target frame.

摘要翻译： 一种随机访问多视点视频的方法。 多视点视频被采集到具有以姿势布置的相应摄像机的场景，使得在任何一对摄像机之间存在视图重叠。 V帧是从多视角视频生成的。 V帧仅使用空间预测编码。 然后，将V帧周期性地插入到编码比特流中，以便为多视点视频提供随机的时间访问。 附加的视图依赖性信息使得能够在对指定的视图和时间的随机访问目标帧之前对减少数量的帧进行解码，以及对目标帧进行解码。