公开(公告)号：US20070116126A1

公开(公告)日：2007-05-24

申请号：US11384379

申请日：2006-03-21

申请人： Barin Haskell ,  Adriana Dumitras ,  Hsi-Jung Wu ,  Xin Tong ,  Thomas Pun

发明人： Barin Haskell ,  Adriana Dumitras ,  Hsi-Jung Wu ,  Xin Tong ,  Thomas Pun

IPC分类号： H04N11/02 ,  H04N7/12

CPC分类号： H04N19/587 ,  H04N19/115 ,  H04N19/132 ,  H04N19/15 ,  H04N19/194 ,  H04N19/196

摘要： An encoder includes an encoder engine, a storage device and a controller to implement an iterative coding process. The encoder engine compresses a selected portion of a data sequence. The storage device stores the compressed portion of the data sequence after each iteration. The controller selects the portion of the data sequence to compress for each iteration. The controller gathers statistics from the compressed portion of the data sequence. The gathered statistics include statistics generated by the selected frames and statistics extrapolated from the selected frames for the non-selected frames. The controller adjusts coding parameters of the encoder engine on each iteration until the gathered statistics meet a specified performance requirement.

摘要翻译： 编码器包括编码器引擎，存储装置和控制器，以实现迭代编码处理。 编码器引擎压缩数据序列的选定部分。 存储装置在每次迭代之后存储数据序列的压缩部分。 控制器为每次迭代选择数据序列的部分进行压缩。 控制器从数据序列的压缩部分收集统计信息。 所收集的统计信息包括由所选择的帧生成的统计信息和对于未选择的帧从所选择的帧中推断的统计信息。 控制器在每次迭代中调整编码器引擎的编码参数，直到收集到的统计信息达到规定的性能要求。

公开(公告)号：US06738533B1

公开(公告)日：2004-05-18

申请号：US09538067

申请日：2000-03-29

申请人： Heung-Yeung Shum ,  Jin-Xiang Chai ,  Xin Tong

发明人： Heung-Yeung Shum ,  Jin-Xiang Chai ,  Xin Tong

IPC分类号： G06K932

CPC分类号： G06T15/205 ,  Y10S707/99942

摘要： A minimum sampling rate and a minimum sampling curve for continuous representation of a scene are disclosed. The minimum sampling rate for light-field rendering is determined in accordance with Δ ⁢   ⁢ t max = 1 2 ⁢ K Ω v ⁢   ⁢ fh d , where K&OHgr;v accounts for a light-field signal cut-off frequency, a sampling camera resolution and an output resolution, ƒ specifies a sampling camera focal length, and hd specifies a light-field depth range. The minimum sampling curve for image-based rendering is determined as constrained by Nd=2K&OHgr;vƒhd&Dgr;t, Nd≧1, where Nd is the number of depth layers, &Dgr;t specifies a sampling interval along a t direction. Where IBR is be performed under uncertain depth, the curve is determined as Δ ⁢   ⁢ t max = min z e ⁢   ⁢ ( z e + Δ ⁢   ⁢ η ) ⁢   ⁢ ( z e - Δ ⁢   ⁢ η ) 4 ⁢   ⁢ fK Ω v ⁢   ⁢ Δ ⁢   ⁢ η , where &Dgr;tmax specifies a maximum sampling interval along a t direction, ze specifies an estimated depth, and &Dgr;&eegr; specifies a depth error.

摘要翻译： 公开了用于连续表示场景的最小采样率和最小采样曲线。 光场渲染的最小采样率根据KOmegav考虑到光场信号截止频率，采样相机分辨率和输出分辨率，f指定采样摄像机焦距，并且hd指定发光二极管， 场深度范围。 基于图像的渲染的最小采样曲线被确定为Nd = 2KOmegavfhdDeltat，Nd> = 1，其中Nd是深度层的数量，Deltat指定沿t方向的采样间隔。 在不确定深度下执行IBR的情况下，确定曲线，其中Deltatmax指定沿t方向的最大采样间隔，ze指定估计深度，Deltaeta指定深度误差。

公开(公告)号：US08830092B2

公开(公告)日：2014-09-09

申请号：US13156610

申请日：2011-06-09

申请人： Jim Normile ,  Thomas Pun ,  Xiaojin Shi ,  Xin Tong ,  Hsi-Jung Wu

发明人： Jim Normile ,  Thomas Pun ,  Xiaojin Shi ,  Xin Tong ,  Hsi-Jung Wu

IPC分类号： H03M7/00

CPC分类号： H04N19/154 ,  H04N19/156 ,  H04N19/164

摘要： Techniques for encoding data based at least in part upon an awareness of the decoding complexity of the encoded data and the ability of a target decoder to decode the encoded data are disclosed. In some embodiments, a set of data is encoded based at least in part upon a state of a target decoder to which the encoded set of data is to be provided. In some embodiments, a set of data is encoded based at least in part upon the states of multiple decoders to which the encoded set of data is to be provided.

摘要翻译： 公开了至少部分地基于编码数据的解码复杂度的意识和目标解码器解码编码数据的能力对数据进行编码的技术。 在一些实施例中，至少部分地基于要提供编码数据集合的目标解码器的状态对数据集进行编码。 在一些实施例中，一组数据至少部分地基于要提供编码数据集的多个解码器的状态进行编码。

公开(公告)号：US08811475B2

公开(公告)日：2014-08-19

申请号：US13437931

申请日：2012-04-03

申请人： Xin Tong ,  Hsi Jung Wu ,  Thomas Pun ,  Adriana Dumitras ,  Barin Geoffry Haskell ,  Jim Normile

发明人： Xin Tong ,  Hsi Jung Wu ,  Thomas Pun ,  Adriana Dumitras ,  Barin Geoffry Haskell ,  Jim Normile

IPC分类号： H04N7/12 ,  H04N7/26

CPC分类号： H04N19/00193 ,  H04N19/00 ,  H04N19/152 ,  H04N19/194

摘要： A method of encoding a sequence of video images is described. The method receives the sequence of video images. The method iteratively examines different encoding solutions for the sequence of video images to identify an encoding solution that optimizes image quality while meeting a target bit rate and satisfying a set of constraints regarding flow of encoded data through an input buffer of a hypothetical reference decoder for decoding the encoded video sequence. The iterative examining includes, for each encoding solution, determining whether the hypothetical reference decoder underflows while processing the encoding solution for any set of images within the video sequence.

摘要翻译： 描述了对视频图像序列进行编码的方法。 该方法接收视频图像序列。 该方法迭代地检查视频图像序列的不同编码解决方案，以识别优化图像质量同时满足目标比特率并且通过用于解码的假设参考解码器的输入缓冲器满足编码数据流的一组约束的编码解决方案 编码视频序列。 对于每个编码解决方案，迭代检查包括在处理视频序列内的任何图像集合的编码解决方案的同时确定假想参考解码器是否下溢。

公开(公告)号：US08737825B2

公开(公告)日：2014-05-27

申请号：US12781813

申请日：2010-05-17

申请人： Paul Towner ,  Courtney Kennedy ,  Randy Ubillos ,  Greg Mullins ,  Greg Wallace ,  Peter Chou ,  Xin Tong

发明人： Paul Towner ,  Courtney Kennedy ,  Randy Ubillos ,  Greg Mullins ,  Greg Wallace ,  Peter Chou ,  Xin Tong

IPC分类号： H04N5/93

CPC分类号： H04N7/0117 ,  G11B27/00 ,  H04N5/765 ,  H04N5/917 ,  H04N19/107 ,  H04N19/11 ,  H04N19/12 ,  H04N19/162 ,  H04N19/174 ,  H04N19/176 ,  H04N19/59

摘要： Some embodiments provide a video recording device for capturing a video clip. The video recording device receives a selection of a non-temporally compressed encoding scheme from several different encoding schemes for encoding the video clip. The different encoding schemes include at least one temporally compressed encoding scheme and at least the selected non-temporally compressed encoding scheme. The video recording device captures the video clip as several frames. The video recording device non-temporally encodes each of the frames as several slices. The slices of a particular frame are for decoding by several processing units of a video decoding device. The video recording device stores the video clip in a storage.

摘要翻译： 一些实施例提供用于捕获视频剪辑的视频记录装置。 视频记录设备从用于编码视频剪辑的几种不同的编码方案中接收非时间压缩编码方案的选择。 不同的编码方案包括至少一个时间压缩编码方案和至少所选择的非时间压缩编码方案。 视频记录设备将视频剪辑捕获为几帧。 视频记录设备将每个帧非时间编码为几个片。 特定帧的片段用于由视频解码装置的多个处理单元进行解码。 视频记录装置将视频剪辑存储在存储器中。

公开(公告)号：US08698829B2

公开(公告)日：2014-04-15

申请号：US12789876

申请日：2010-05-28

申请人： Li-Yi Wei ,  Chongyang Ma ,  Xin Tong

发明人： Li-Yi Wei ,  Chongyang Ma ,  Xin Tong

IPC分类号： G09G5/00

CPC分类号： G06T11/001

摘要： Output textures may be generated by synthesizing an input texture comprising discrete elements with a set of boundary conditions. Elements of the input texture are copied from the input texture to an output texture that is defined by a set of boundary conditions and are then refined. The elements of the output texture are refined by assigning domain and/or attribute information to the elements of the output texture element by minimizing an energy function measuring a similarity between output neighborhoods of the output texture and a corresponding best matching input neighborhood of the input texture.

摘要翻译： 输出纹理可以通过合成包括具有一组边界条件的离散元素的输入纹理来生成。 将输入纹理的元素从输入纹理复制到由一组边界条件定义的输出纹理，然后进行细化。 通过最小化测量输出纹理的输出邻域与输入纹理的相应最佳匹配输入邻域之间的相似性的能量函数，将域和/或属性信息分配给输出纹理元素的元素，从而细化输出纹理的元素 。

公开(公告)号：US20130342527A1

公开(公告)日：2013-12-26

申请号：US13585540

申请日：2012-08-14

申请人： David Molyneaux ,  Xin Tong ,  Zicheng Liu ,  Eric Chang ,  Fan Yang ,  Jay Kapur ,  Emily Yang ,  Yang Liu ,  Hsiang-Tao Wu

发明人： David Molyneaux ,  Xin Tong ,  Zicheng Liu ,  Eric Chang ,  Fan Yang ,  Jay Kapur ,  Emily Yang ,  Yang Liu ,  Hsiang-Tao Wu

IPC分类号： G06T13/00 ,  G06T15/00

CPC分类号： G06T7/0032 ,  A63F13/213 ,  A63F13/655 ,  G06K9/00214 ,  G06K9/00369 ,  G06K9/469 ,  G06K9/6206 ,  G06K9/6211 ,  G06T7/344 ,  G06T13/40 ,  G06T17/20 ,  G06T2207/10028

摘要： A method for constructing an avatar of a human subject includes acquiring a depth map of the subject, obtaining a virtual skeleton of the subject based on the depth map, and harvesting from the virtual skeleton a set of characteristic metrics. Such metrics correspond to distances between predetermined points of the virtual skeleton. In this example method, the characteristic metrics are provided as input to an algorithm trained using machine learning. The algorithm may be trained using a human model in a range of poses, and a range of human models in a single pose, to output a virtual body mesh as a function of the characteristic metrics. The method also includes constructing a virtual head mesh distinct from the virtual body mesh, with facial features resembling those of the subject, and connecting the virtual body mesh to the virtual head mesh.

摘要翻译： 用于构建人类对象的化身的方法包括获取对象的深度图，基于深度图获取对象的虚拟骨架，以及从虚拟骨架获取一组特征度量。 这样的度量对应于虚拟骨架的预定点之间的距离。 在该示例方法中，特征度量被提供作为使用机器学习训练的算法的输入。 可以使用姿态范围中的人类模型和单个姿态中的人类模型的范围来训练算法，以根据特征度量输出虚拟身体网格。 该方法还包括构建与虚拟身体网格不同的虚拟头部网格，以及类似于对象的面部特征，以及将虚拟身体网格物体连接到虚拟头部网格物体。

公开(公告)号：US08295343B2

公开(公告)日：2012-10-23

申请号：US11473248

申请日：2006-06-23

申请人： Xin Tong ,  Barin Geoffry Haskell ,  Hsi-Jung Wu

发明人： Xin Tong ,  Barin Geoffry Haskell ,  Hsi-Jung Wu

IPC分类号： H04N7/12

CPC分类号： H04N19/198 ,  H04N19/124 ,  H04N19/146 ,  H04N19/152 ,  H04N19/172 ,  H04N19/177 ,  H04N19/192 ,  H04N19/196 ,  H04N19/61

摘要： This invention is directed to a video bit rate control method for encoding a video sequence based on a decoder buffer condition and a group of picture (GOP) size limitation of the encoded video sequence. The method includes iteratively adjusting a quantization parameter and/or a masking strength parameter and encoding the video sequence at the adjusted parameters until the buffer condition and GOP size limitation are satisfied. The method makes the above adjustments to avoid buffer underflow and GOP oversizing.

摘要翻译： 本发明涉及一种视频比特率控制方法，用于根据解码器缓冲器条件和编码视频序列的一组图像（GOP）尺寸限制对视频序列进行编码。 该方法包括迭代地调整量化参数和/或掩蔽强度参数，并以调整的参数对视频序列进行编码，直到满足缓冲条件和GOP大小限制。 该方法进行上述调整，以避免缓冲区下溢和GOP超大。

公开(公告)号：US20100188404A1

公开(公告)日：2010-07-29

申请号：US12361676

申请日：2009-01-29

申请人： Xin Tong ,  Chen Li ,  Jinyu Li

发明人： Xin Tong ,  Chen Li ,  Jinyu Li

IPC分类号： G06T15/60

CPC分类号： G06T15/005 ,  G06T11/40 ,  G06T2210/12

摘要： Embodiments for single-pass bounding box calculation are disclosed. In accordance with one embodiment, the single-pass bounding box calculation includes rendering a first target to a 2-dimensional screen space, whereby the first target includes at least six pixels. The calculation further includes producing transformed vertices in a set of geometry primitives based on an application-specified transformation. The calculation also includes generating six new points for each transformed vertex in the set of geometry primitives. The calculation additionally includes producing an initial third coordinate value for each pixel by rendering the at least six new points generate for each pixel to each corresponding pixel. The calculation further includes producing a post-rasterization value for each pixel by rasterizing the at least six new points rendered to each pixel with each corresponding pixel. Finally, the calculation includes computing bounding box information for the set of geometry primitives based on the produced third coordinate values.

摘要翻译： 公开了单程界限框计算的实施例。 根据一个实施例，单程界限框计算包括将第一目标渲染到二维屏幕空间，由此第一目标包括至少六个像素。 该计算还包括基于应用指定的变换在一组几何图元中产生经变换的顶点。 该计算还包括为几何图元集合中的​​每个变换的顶点生成六个新点。 该计算另外包括通过将针对每个像素生成的至少六个新点渲染到每个对应像素来产生每个像素的初始第三坐标值。 该计算还包括通过用每个对应的像素光栅化渲染到每个像素的至少六个新点来为每个像素产生光栅后值。 最后，计算包括基于产生的第三坐标值来计算几何图元集合的边界框信息。

公开(公告)号：US20060013298A1

公开(公告)日：2006-01-19

申请号：US11118616

申请日：2005-04-28

申请人： Xin Tong ,  Hsi Jung Wu ,  Thomas Pun ,  Adriana Dumitras ,  Barin Haskell ,  Jim Normile

发明人： Xin Tong ,  Hsi Jung Wu ,  Thomas Pun ,  Adriana Dumitras ,  Barin Haskell ,  Jim Normile

IPC分类号： H04N11/04 ,  H04N11/02 ,  H04B1/66 ,  H04N7/12

CPC分类号： H04N19/00193 ,  H04N19/00 ,  H04N19/152 ,  H04N19/194

摘要： Some embodiments of the invention provide a multi-pass encoding method that encodes several images (eg., several frames of a video sequence). The method iteratively performs an encoding operation that encodes these images. The encoding operation is based on a nominal quantization parameter, which the method uses to compute quantization parameters for the images. During several different iterations of the encoding operation, the method uses several different nominal quantization parameters. The method stops its iterations when it reaches a terminating criterion (e.g., it identifies an acceptable encoding of the images).

摘要翻译： 本发明的一些实施例提供了对多个图像（例如，视频序列的几个帧）进行编码的多遍编码方法。 该方法迭代地执行编码这些图像的编码操作。 编码操作基于标称量化参数，该方法用于计算图像的量化参数。 在编码操作的几个不同迭代期间，该方法使用几个不同的标称量化参数。 该方法在达到终止标准（例如，它识别图像的可接受编码）时停止迭代。