公开(公告)号：US08665968B2

公开(公告)日：2014-03-04

申请号：US12840568

申请日：2010-07-21

申请人： Xuemin Chen ,  Wade Wan ,  Brian Heng ,  Jason Herrick

发明人： Xuemin Chen ,  Wade Wan ,  Brian Heng ,  Jason Herrick

IPC分类号： H04N7/18

CPC分类号： H04N19/33 ,  H04N13/161 ,  H04N19/597

摘要： Disclosed are various embodiments of three-dimensional (3D) video coding using scalable video coding (SVC) spatial scalability. In one embodiment, 3D video is encoded to generate a SVC base layer that includes a left first-resolution view and a right first-resolution view packed in a first frame. 3D video is encoded to generate a SVC enhancement layer that includes a left second-resolution view and a right second-resolution view packed in a second frame. The left second-resolution view and the right second-resolution view may have a higher spatial resolution than the left first-resolution view and the right first-resolution view.

摘要翻译： 公开了使用可伸缩视频编码（SVC）空间可扩展性的三维（3D）视频编码的各种实施例。 在一个实施例中，3D视频被编码以产生SVC基本层，其包括左第一分辨率视图和包含在第一帧中的右第一分辨率视图。 3D视频被编码以产生SVC增强层，其包括左第二分辨率视图和在第二帧中打包的右二维分辨率视图。 左侧第二分辨率视图和右侧第二分辨率视图可能具有比左侧第一分辨率视图和右侧第一分辨率视图更高的空间分辨率。

公开(公告)号：US08208551B2

公开(公告)日：2012-06-26

申请号：US11931528

申请日：2007-10-31

申请人： Brian Heng ,  Xuemin Chen

发明人： Brian Heng ,  Xuemin Chen

IPC分类号： H04N5/341

CPC分类号： H04N19/198 ,  H04N19/513

摘要： Methods and systems for hierarchically layered adaptive median motion vector smoothing are disclosed. Aspects of one method may include generating motion vectors (MVs) for video pictures at each level of a hierarchical motion estimation process, where each level may use different resolution video pictures. The MVs may be smooth filtered at each level to reduce or remove spurious MVs. The smooth filtering may comprise scalar median filtering and/or vector median filtering. The smooth filtering may receive as inputs a plurality of MVs, for example, the MV being filtered and eight MVs from the surrounding video blocks. The vector costs of the nine MVs may be compared to a threshold vector cost, and those MVs with costs above the threshold value may be discarded. The threshold value may be dynamically changed based on, for example, content of the video pictures and/or to adjust a window size of the smoothing filter.

摘要翻译： 公开了用于分级分层自适应中值运动矢量平滑的方法和系统。 一种方法的方面可以包括在分层运动估计过程的每个级别生成用于视频图像的运动矢量（MV），其中每个级别可以使用不同的分辨率视频图像。 MV可以在每个级别进行平滑滤波，以减少或消除杂散MV。 平滑滤波可以包括标量中值滤波和/或矢量中值滤波。 平滑滤波可以接收多个MV，例如，被滤波的MV和来自周围视频块的8个MV。 可以将九个MV的向量成本与阈值向量成本进行比较，并且可以丢弃具有高于阈值的成本的那些MV。 阈值可以基于例如视频图像的内容动态地改变和/或调整平滑滤波器的窗口大小。

公开(公告)号：US20090207314A1

公开(公告)日：2009-08-20

申请号：US12031461

申请日：2008-02-14

申请人： Brian Heng ,  Xuemin Chen ,  Frederick G. Walls

发明人： Brian Heng ,  Xuemin Chen ,  Frederick G. Walls

IPC分类号： H04N5/14

CPC分类号： H04N5/145 ,  G06T7/223 ,  G06T2207/10016 ,  G06T2207/20021

摘要： Aspects of a method and system for motion vector estimation using a pivotal pixel search are presented. Aspects of the system may include an image interpolation system that enables selection of an interpolated picture element neighborhood within an interpolated image frame. The image interpolation system may enable selection of one of a plurality of computed candidate motion vectors based on the location of the interpolated picture element neighborhood within the interpolated image frame. The image interpolation system may enable generation of picture element values within the selected interpolated picture element neighborhood based on at least the selected one of the plurality of computed candidate motion vectors.

摘要翻译： 提出了使用关键像素搜索进行运动矢量估计的方法和系统的方面。 系统的方面可以包括能够在内插图像帧内选择内插图像元素邻域的图像插值系统。 图像插值系统可以基于内插图像帧内的内插图像元素邻域的位置来使得能够选择多个计算的候选运动矢量中的一个。 图像插值系统可以使得至少基于所选择的多个计算的候选运动矢量中的所选择的一个，能够在选择的内插图像元素邻域内生成图像元素值。

公开(公告)号：US08374247B2

公开(公告)日：2013-02-12

申请号：US12013882

申请日：2008-01-14

申请人： Brian Heng ,  Xuemin Chen ,  Frederick G. Walls

发明人： Brian Heng ,  Xuemin Chen ,  Frederick G. Walls

IPC分类号： H04N11/02

CPC分类号： H04N19/523 ,  G06T7/223 ,  G06T2207/10016 ,  G06T2207/20016 ,  H04N5/145 ,  H04N7/014

摘要： Aspects of a method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing are presented. Aspects of the system may include hierarchical motion vector computation that enables motion vectors to be computed at each level in the hierarchy based on a distinct pixel resolution level. A smoothing algorithm may be utilized to suppress spurious motion vector generation. The motion vectors computed at one level in the hierarchy may be utilized when computing motion vectors in a subsequent level. A bias value may be computed for each motion vector that provides an evaluation metric that may enable determination of whether the computed motion vector is to be utilized to enable generation of the interpolated image frame.

摘要翻译： 提出了一种具有多层子像素精度和运动矢量平滑的分层运动估计方法和系统。 系统的方面可以包括层次运动矢量计算，其使得能够基于不同的像素分辨率级别在层级中的每个级别处计算运动矢量。 可以使用平滑算法来抑制杂散运动矢量生成。 当在随后的级别中计算运动矢量时，可以利用在层级中的一个级别计算的运动矢量。 可以为提供评估度量的每个运动矢量计算偏置值，该评估度量可以使得能够确定所计算的运动矢量是否被用于能够生成内插图像帧。

公开(公告)号：US20110134214A1

公开(公告)日：2011-06-09

申请号：US12840557

申请日：2010-07-21

申请人： Xuemin Chen ,  Brian Heng ,  Wade Wan ,  Daniel English ,  Zhijie Yang

发明人： Xuemin Chen ,  Brian Heng ,  Wade Wan ,  Daniel English ,  Zhijie Yang

IPC分类号： H04N13/00 ,  H04N7/32

CPC分类号： H04N19/33 ,  H04N19/597 ,  H04N19/61

摘要： A 3-dimensional (3D) video transmitter may be operable to encode a 3D video to generate a scalable video coding (SVC) base layer and a SVC enhancement layer. A first view such as a first high-resolution view and a second view such as a second high-resolution view of the 3D video in the SVC enhancement layer may be separate frames. A first half-resolution view and a second half-resolution view of the 3D video in the SVC base layer may be packed in a single frame. The first half-resolution view in the SVC base layer may be a base-layer reference for the first high-resolution view in the SVC enhancement layer for inter-layer prediction of spatial scalable coding. The first high-resolution view in the SVC enhancement layer may be an intra-layer reference for the second high-resolution view in the SVC enhancement layer for intra-layer prediction of temporal scalable coding.

摘要翻译： 三维（3D）视频发射器可以用于对3D视频进行编码以产生可分级视频编码（SVC）基础层和SVC增强层。 诸如第一高分辨率视图和SVC增强层中的3D视频的第二高分辨率视图的第二视图的第一视图可以是单独的帧。 SVC基层中的3D视频的第一半分辨率视图和第二半分辨率视图可以被打包在单个帧中。 SVC基层中的第一半分辨率视图可以是用于空间可缩放编码的层间预测的SVC增强层中的第一高分辨率视图的基础层参考。 SVC增强层中的第一高分辨率视图可以是用于SVC增强层中用于时间可缩放编码的层内预测的第二高分辨率视图的内层参考。

公开(公告)号：US08848793B2

公开(公告)日：2014-09-30

申请号：US11931808

申请日：2007-10-31

申请人： Xuemin Chen ,  Brian Heng

发明人： Xuemin Chen ,  Brian Heng

IPC分类号： H04N7/12 ,  H04N11/02 ,  H04N11/04 ,  H04N19/577 ,  H04N19/46 ,  H04N19/85 ,  H04N19/61 ,  H04N19/527 ,  H04N19/87

CPC分类号： H04N19/00593 ,  H04N19/46 ,  H04N19/527 ,  H04N19/577 ,  H04N19/61 ,  H04N19/85 ,  H04N19/87

摘要： Certain aspects of a method and system for video compression with integrated picture rate up-conversion (PRUC) may include generating picture rate up-conversion (PRUC) data from received video data while the received video data is being encoded. The generated PRUC data may be encoded and communicated to a decoder in order to enable generation of a plurality of interpolated pictures. The generated encoded PRUC data may be communicated via a sideband to the decoder or by embedding the generated encoded PRUC data within the encoded received video data prior to the communication to the decoder.

摘要翻译： 用于具有集成图像比特率上变换（PRUC）的视频压缩的方法和系统的某些方面可以包括在接收的视频数据被编码的同时从接收的视频数据生成图像速率上转换（PRUC）数据。 所生成的PRUC数据可以被编码并传送到解码器，以便能够生成多个内插图像。 生成的编码的PRUC数据可以经由边带传送到解码器，或者在与解码器进行通信之前，将生成的编码的PRUC数据嵌入编码的接收的视频数据中。

公开(公告)号：US20090180032A1

公开(公告)日：2009-07-16

申请号：US12013882

申请日：2008-01-14

申请人： Brian Heng ,  Xuemin Chen ,  Frederick G. Walls

发明人： Brian Heng ,  Xuemin Chen ,  Frederick G. Walls

IPC分类号： H04N5/14

CPC分类号： H04N19/523 ,  G06T7/223 ,  G06T2207/10016 ,  G06T2207/20016 ,  H04N5/145 ,  H04N7/014

摘要： Aspects of a method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing are presented. Aspects of the system may include hierarchical motion vector computation that enables motion vectors to be computed at each level in the hierarchy based on a distinct pixel resolution level. A smoothing algorithm may be utilized to suppress spurious motion vector generation. The motion vectors computed at one level in the hierarchy may be utilized when computing motion vectors in a subsequent level. A bias value may be computed for each motion vector that provides an evaluation metric that may enable determination of whether the computed motion vector is to be utilized to enable generation of the interpolated image frame.

摘要翻译： 提出了一种具有多层子像素精度和运动矢量平滑的分层运动估计方法和系统。 系统的方面可以包括层次运动矢量计算，其使得能够基于不同的像素分辨率级别在层级中的每个级别处计算运动矢量。 可以使用平滑算法来抑制杂散运动矢量生成。 当在随后的级别中计算运动矢量时，可以利用在层级中的一个级别计算的运动矢量。 可以为提供评估度量的每个运动矢量计算偏置值，该评估度量可以使得能够确定所计算的运动矢量是否被用于能够生成内插图像帧。

公开(公告)号：US20090110074A1

公开(公告)日：2009-04-30

申请号：US11931942

申请日：2007-10-31

申请人： Xuemin Chen ,  Brian Heng

发明人： Xuemin Chen ,  Brian Heng

IPC分类号： H04N7/32 ,  H04N7/26

CPC分类号： H04N7/0127 ,  G06T3/4007 ,  H04N7/014 ,  H04N19/132 ,  H04N19/44 ,  H04N19/577 ,  H04N19/587 ,  H04N19/61 ,  H04N19/82 ,  H04N19/86

摘要： Certain aspects of a method and system for motion-compensated picture rate up-conversion (PRUC) using information extracted from a compressed video stream may include extracting PRUC data from a compressed video data stream while the compressed video data stream is being decompressed by a video decompression engine. The PRUC data may comprise, for example, local block motion vectors, block coding modes, quantization levels, quantized residual data and decoded pictures. A plurality of interpolated pictures may be generated based on extracting the PRUC data.

摘要翻译： 使用从压缩视频流提取的信息的运动补偿图像比特率上变换（PRUC）的方法和系统的某些方面可以包括在压缩视频数据流被视频解压缩的同时从压缩视频数据流中提取PRUC数据 减压发动机 PRUC数据可以包括例如本地块运动矢量，块编码模式，量化级，量化残差数据和解码图像。 可以基于提取PRUC数据来生成多个内插图像。

公开(公告)号：US08514939B2

公开(公告)日：2013-08-20

申请号：US11932102

申请日：2007-10-31

申请人： Xuemin Chen ,  Brian Heng

发明人： Xuemin Chen ,  Brian Heng

IPC分类号： H04N7/12 ,  H04N11/02 ,  H04N11/04

CPC分类号： H04N19/523 ,  H04N7/0127 ,  H04N7/014 ,  H04N19/132 ,  H04N19/51 ,  H04N19/527 ,  H04N19/553 ,  H04N19/587

摘要： Certain aspects of a method and system for motion-compensated picture rate up-conversion (PRUC) of digital video using picture boundary processing may include generating one or more forward motion vectors and one or more backward motion vectors based on extracted picture rate up-conversion (PRUC) data. A cost of performing motion estimation of a particular block along the generated forward motion vectors and the generated backward motion vectors corresponding to the particular block may be calculated. The particular block may be a boundary block. A motion vector with the least cost may be selected and motion compensated to generate a plurality of interpolated pictures.

摘要翻译： 使用图像边界处理的数字视频的运动补偿图像比率上变频（PRUC）的方法和系统的某些方面可以包括基于提取的图像比率上变换产生一个或多个前向运动矢量和一个或多个后向运动矢量 （PRUC）数据。 可以计算沿所产生的前向运动矢量执行特定块的运动估计和对应于特定块的生成的后向运动矢量的成本。 特定块可以是边界块。 可以选择具有最低成本的运动矢量并进行运动补偿以生成多个内插图像。

公开(公告)号：US20110074922A1

公开(公告)日：2011-03-31

申请号：US12840568

申请日：2010-07-21

申请人： Xuemin Chen ,  Wade Wan ,  Brian Heng ,  Jason Herrick

发明人： Xuemin Chen ,  Wade Wan ,  Brian Heng ,  Jason Herrick

IPC分类号： H04N13/00

CPC分类号： H04N19/33 ,  H04N13/161 ,  H04N19/597

摘要： A 3-dimensional (3D) video transmitter may be operable to encode a 3D video to generate a scalable video coding (SVC) base layer and a SVC enhancement layer. A first half-resolution view and a second half-resolution view of the 3D video in the SVC base layer may be packed in a first single frame. A first view such as a first high-resolution view and a second view such as a second high-resolution view of the 3D video in the SVC enhancement layer may be packed in a second single frame. The high-resolution may comprise a resolution that may be greater than half resolution. The first single frame in the SVC base layer may be used as a base-layer reference for the second single frame in the SVC enhancement layer for inter-layer prediction of spatial scalable coding.

摘要翻译： 三维（3D）视频发射器可以用于对3D视频进行编码以产生可分级视频编码（SVC）基础层和SVC增强层。 SVC基层中的3D视频的第一半分辨率视图和第二半分辨率视图可以被打包在第一单个帧中。 诸如第一高分辨率视图和SVC增强层中的3D视频的第二高分辨率视图的第二视图的第一视图可以被包装在第二单个帧中。 高分辨率可以包括可以大于一半分辨率的分辨率。 SVC基础层中的第一单帧可以用作SVC增强层中用于空间可缩放编码的层间预测的第二单个帧的基础层参考。