公开(公告)号：US20070116126A1

公开(公告)日：2007-05-24

申请号：US11384379

申请日：2006-03-21

申请人： Barin Haskell ,  Adriana Dumitras ,  Hsi-Jung Wu ,  Xin Tong ,  Thomas Pun

发明人： Barin Haskell ,  Adriana Dumitras ,  Hsi-Jung Wu ,  Xin Tong ,  Thomas Pun

IPC分类号： H04N11/02 ,  H04N7/12

CPC分类号： H04N19/587 ,  H04N19/115 ,  H04N19/132 ,  H04N19/15 ,  H04N19/194 ,  H04N19/196

摘要： An encoder includes an encoder engine, a storage device and a controller to implement an iterative coding process. The encoder engine compresses a selected portion of a data sequence. The storage device stores the compressed portion of the data sequence after each iteration. The controller selects the portion of the data sequence to compress for each iteration. The controller gathers statistics from the compressed portion of the data sequence. The gathered statistics include statistics generated by the selected frames and statistics extrapolated from the selected frames for the non-selected frames. The controller adjusts coding parameters of the encoder engine on each iteration until the gathered statistics meet a specified performance requirement.

摘要翻译： 编码器包括编码器引擎，存储装置和控制器，以实现迭代编码处理。 编码器引擎压缩数据序列的选定部分。 存储装置在每次迭代之后存储数据序列的压缩部分。 控制器为每次迭代选择数据序列的部分进行压缩。 控制器从数据序列的压缩部分收集统计信息。 所收集的统计信息包括由所选择的帧生成的统计信息和对于未选择的帧从所选择的帧中推断的统计信息。 控制器在每次迭代中调整编码器引擎的编码参数，直到收集到的统计信息达到规定的性能要求。

公开(公告)号：US08031777B2

公开(公告)日：2011-10-04

申请号：US11384379

申请日：2006-03-21

申请人： Barin Haskell ,  Adriana Dumitras ,  Hsi-Jung Wu ,  Xin Tong ,  Thomas Pun

发明人： Barin Haskell ,  Adriana Dumitras ,  Hsi-Jung Wu ,  Xin Tong ,  Thomas Pun

IPC分类号： H04B1/66

CPC分类号： H04N19/587 ,  H04N19/115 ,  H04N19/132 ,  H04N19/15 ,  H04N19/194 ,  H04N19/196

摘要： An encoder includes an encoder engine, a storage device and a controller to implement an iterative coding process. The encoder engine compresses a selected portion of a data sequence. The storage device stores the compressed portion of the data sequence after each iteration. The controller selects the portion of the data sequence to compress for each iteration. The controller gathers statistics from the compressed portion of the data sequence. The gathered statistics include statistics generated by the selected frames and statistics extrapolated from the selected frames for the non-selected frames. The controller adjusts coding parameters of the encoder engine on each iteration until the gathered statistics meet a specified performance requirement.

摘要翻译： 编码器包括编码器引擎，存储装置和控制器，以实现迭代编码处理。 编码器引擎压缩数据序列的选定部分。 存储装置在每次迭代之后存储数据序列的压缩部分。 控制器为每次迭代选择数据序列的部分进行压缩。 控制器从数据序列的压缩部分收集统计信息。 所收集的统计信息包括由所选择的帧生成的统计信息和对于未选择的帧从所选择的帧中推断的统计信息。 控制器在每次迭代中调整编码器引擎的编码参数，直到收集到的统计信息达到规定的性能要求。

公开(公告)号：US09137535B2

公开(公告)日：2015-09-15

申请号：US12820106

申请日：2010-06-21

申请人： Thomas Pun ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Thomas Pun ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： H04N7/18 ,  H04N19/126 ,  H04N19/196 ,  H04N19/176 ,  H04N19/149 ,  H04N19/61

CPC分类号： H04N19/126 ,  H04N19/146 ,  H04N19/149 ,  H04N19/176 ,  H04N19/196 ,  H04N19/197 ,  H04N19/61 ,  H04N19/625

摘要： Method For Implementing A Quantizer In A Multimedia Compression And Encoding System is disclosed. In the Quantizer system of the present invention, several new quantization ideas are disclosed. In one embodiment, adjacent macroblocks are grouped together into macroblock groups. The macroblock groups are then assigned a common quantizer value. The common quantizer value may be selected based upon how the macroblocks are encoded, the type of macroblocks within the macroblock group (intra-blocks or inter-blocks), the history of the motion vectors associated with the macroblocks in the macroblock group, the residuals of the macroblocks in the macroblock group, and the energy of the macroblocks in the macroblock group. The quantizer value may be adjusted in a manner that is dependent on the current quantizer value. Specifically, if the quantizer value is at the low end of the quantizer scale, then only small adjustments are made. If the quantizer value is at the high end then larger adjustments may be made to the quantizer. Finally, in one embodiment, the quantizer is implemented along with an inverse quantizer for efficient operation.

摘要翻译： 公开了一种在多媒体压缩和编码系统中实现量化器的方法。 在本发明的量化器系统中，公开了几种新的量化思想。 在一个实施例中，相邻宏块被分组在一起成为宏块组。 然后向宏块组分配一个公共量化器值。 可以基于宏块如何编码，宏块组（块内或块内）中的宏块的类型，与宏块组中的宏块相关联的运动向量的历史来选择公共量化器值，残差 的宏块组中的宏块的能量，以及宏块组中的宏块的能量。 量化器值可以以取决于当前量化器值的方式进行调整。 具体地，如果量化器值处于量化器标尺的低端，则仅进行小的调整。 如果量化器值处于高端，则可以对量化器进行较大的调整。 最后，在一个实施例中，量化器与用于有效操作的逆量化器一起被实现。

公开(公告)号：US08451911B2

公开(公告)日：2013-05-28

申请号：US12136038

申请日：2008-06-09

申请人： Thomas Pun ,  Maynard Handley ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Thomas Pun ,  Maynard Handley ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： H04N7/12

CPC分类号： G06T5/002 ,  G06T2207/10016 ,  H04N19/117 ,  H04N19/127 ,  H04N19/156 ,  H04N19/527 ,  H04N19/86

摘要： Some embodiments of the invention provide a method of decoding an encoded video signal that includes a plurality of successive encoded images. The method initially receives an encoded image of the video signal. It then decodes the encoded image. The method next examines the decoded image to determine whether the decoded image satisfies at least one criterion for performing a post-filter operation on the decoded image. Only if the decoded image satisfies the criterion, the method performs the post-filter operation on the decoded image. The criterion in some embodiments is whether the amount of time for applying the post-filter operation exceeds the remaining amount of time that the method has to process the received image. Some embodiments of the invention provide a method of post-filtering a current image that was decoded from an encoded video signal, which includes a plurality of successive encoded images. The current image has several sub-sections. The method selects a sub-section of the current image. It then determines whether the selected sub-section satisfies at least one condition for performing a post-filter operation on the selected sub-section. The method next performs the post-filter operation on the selected sub-section only if the selected sub-section satisfies the criterion.

摘要翻译： 本发明的一些实施例提供了一种对包括多个连续编码图像的编码视频信号进行解码的方法。 该方法最初接收视频信号的编码图像。 然后解码编码图像。 接下来，该方法检查解码图像，以确定解码图像是否满足对解码图像执行后置滤波操作的至少一个准则。 只有解码图像满足标准，该方法对解码图像执行后置滤波操作。 一些实施例中的标准是用于应用后置滤波器操作的时间量是否超过该方法必须处理接收到的图像的剩余时间量。 本发明的一些实施例提供了一种对从包括多个连续编码图像的编码视频信号进行解码的当前图像进行后置滤波的方法。 当前图像有几个子部分。 该方法选择当前图像的子部分。 然后，确定所选择的子部分是否满足对所选择的子部分执行后置滤波操作的至少一个条件。 该方法仅在所选择的子部分满足标准时才对所选择的子部分执行后置滤波操作。

公开(公告)号：US20110019879A1

公开(公告)日：2011-01-27

申请号：US12772971

申请日：2010-05-03

申请人： Roger Kumar ,  Thomas Pun ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Roger Kumar ,  Thomas Pun ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： G06K9/00

CPC分类号： H04N19/533 ,  H04N19/61

摘要： Some embodiments of the invention provide a method for adaptively performing motion estimation. In some embodiments, the method initially performs a first motion estimation operation. It then determines whether the estimated error in the result of the first motion estimation is greater than a particular threshold. If not, the method uses the results of the first motion estimation operation. Otherwise, the method selects another motion estimation operation. The method continues in this manner until it performs a motion estimation operation that results in an acceptable estimated error, or until it tries all the motion estimation operations at its disposal. When the method cannot identify a motion estimation operation that produces results with an acceptable estimated error, the method selects the result of the motion estimation operation that produced the best results.

摘要翻译： 本发明的一些实施例提供了一种用于自适应地执行运动估计的方法。 在一些实施例中，该方法最初执行第一运动估计操作。 然后，确定第一运动估计的结果中的估计误差是否大于特定阈值。 如果不是，则该方法使用第一运动估计操作的结果。 否则，该方法选择另一运动估计操作。 该方法以这种方式继续，直到其执行导致可接受的估计误差的运动估计操作，或者直到它尝试其所有的所有运动估计操作。 当该方法无法识别产生具有可接受的估计误差的结果的运动估计运算时，该方法选择产生最佳结果的运动估计运算的结果。

公开(公告)号：US20090010325A1

公开(公告)日：2009-01-08

申请号：US12165625

申请日：2008-06-30

申请人： Xiaochun Nie ,  Thomas Pun ,  Roger Kumar ,  Hsi-Jung Wu

发明人： Xiaochun Nie ,  Thomas Pun ,  Roger Kumar ,  Hsi-Jung Wu

IPC分类号： H04N7/12

CPC分类号： H04N19/154 ,  H04N19/115 ,  H04N19/14 ,  H04N19/149 ,  H04N19/159 ,  H04N19/172 ,  H04N19/61

摘要： A rate controller for allocating a bit budget for video frames to be encoded is disclosed. The rate controller of the present invention considers many different factors when determining the frame bit budget including: desired video quality, target bit rate, frame type (intra-frame or inter-frame), frame duration, intra-frame frequency, frame complexity, intra-block frequency within an intra-frame, buffer overflow, buffer underflow, and the encoded video frame quality for a possible second pass.

摘要翻译： 公开了一种用于分配要编码的视频帧的位预算的速率控制器。 本发明的速率控制器在确定帧位预算时考虑许多不同的因素，包括：期望的视频质量，目标比特率，帧类型（帧内或帧间），帧持续时间，帧内频率，帧复杂度， 帧内的块内频率，缓冲器溢出，缓冲器下溢以及用于可能的第二遍的编码视频帧质量。

公开(公告)号：US20080240600A1

公开(公告)日：2008-10-02

申请号：US12136038

申请日：2008-06-09

申请人： Thomas Pun ,  Maynard Handley ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Thomas Pun ,  Maynard Handley ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： G06K9/40

CPC分类号： G06T5/002 ,  G06T2207/10016 ,  H04N19/117 ,  H04N19/127 ,  H04N19/156 ,  H04N19/527 ,  H04N19/86

摘要： Some embodiments of the invention provide a method of decoding an encoded video signal that includes a plurality of successive encoded images. The method initially receives an encoded image of the video signal. It then decodes the encoded image. The method next examines the decoded image to determine whether the decoded image satisfies at least one criterion for performing a post-filter operation on the decoded image. Only if the decoded image satisfies the criterion, the method performs the post-filter operation on the decoded image. The criterion in some embodiments is whether the amount of time for applying the post-filter operation exceeds the remaining amount of time that the method has to process the received image. Some embodiments of the invention provide a method of post-filtering a current image that was decoded from an encoded video signal, which includes a plurality of successive encoded images. The current image has several sub-sections. The method selects a sub-section of the current image. It then determines whether the selected sub-section satisfies at least one condition for performing a post-filter operation on the selected sub-section. The method next performs the post-filter operation on the selected sub-section only if the selected sub-section satisfies the criterion.

摘要翻译： 本发明的一些实施例提供了一种对包括多个连续编码图像的编码视频信号进行解码的方法。 该方法最初接收视频信号的编码图像。 然后解码编码图像。 接下来，该方法检查解码图像，以确定解码图像是否满足对解码图像执行后置滤波操作的至少一个准则。 只有解码图像满足标准，该方法对解码图像执行后置滤波操作。 一些实施例中的标准是用于应用后置滤波器操作的时间量是否超过该方法必须处理接收到的图像的剩余时间量。 本发明的一些实施例提供了一种对从包括多个连续编码图像的编码视频信号进行解码的当前图像进行后置滤波的方法。 当前图像有几个子部分。 该方法选择当前图像的子部分。 然后，确定所选择的子部分是否满足对所选择的子部分执行后置滤波操作的至少一个条件。 该方法仅在所选择的子部分满足标准时才对所选择的子部分执行后置滤波操作。

公开(公告)号：US20070217514A1

公开(公告)日：2007-09-20

申请号：US11751552

申请日：2007-05-21

申请人： Roger Kumar ,  Thomas Pun ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Roger Kumar ,  Thomas Pun ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： H04N7/32

CPC分类号： G06T7/207

摘要： Some embodiments of the invention provide a method of performing motion estimation for an array of image values obtained from a current image. The method starts with an initial estimate of the motion of the current image. The method then determines whether the initial estimate of the motion of the current image array between the current image and a reference image is acceptable. If not, the method specifies a first value for a parameter for performing the motion estimation. Otherwise, the method specifies a second value for the parameter. The method then performs a motion estimation operation based on the specified value of the parameter. One example of a specified parameter is the size of the window that the motion estimation operation uses. Another example is the starting level for a hierarchical motion estimation operation that it performs. A hierarchical motion estimation operation searches the reference frame at several different levels of granularity.

摘要翻译： 本发明的一些实施例提供了一种对从当前图像获得的图像值阵列执行运动估计的方法。 该方法从当前图像的运动的初始估计开始。 该方法然后确定当前图像和参考图像之间的当前图像阵列的运动的初始估计是否可接受。 如果不是，则该方法指定用于执行运动估计的参数的第一值。 否则，该方法指定参数的第二个值。 然后，该方法基于参数的指定值执行运动估计操作。 指定参数的一个示例是运动估计操作使用的窗口的大小。 另一个例子是它执行的分层运动估计操作的起始水平。 分层运动估计操作以几个不同的粒度级别来搜索参考帧。

公开(公告)号：US08477843B2

公开(公告)日：2013-07-02

申请号：US13078922

申请日：2011-04-01

申请人： Xiaochun Nie ,  Thomas Pun ,  Hsi-Jung Wu

发明人： Xiaochun Nie ,  Thomas Pun ,  Hsi-Jung Wu

IPC分类号： H04N7/26 ,  H04N7/30 ,  H04N7/24

CPC分类号： H04N21/23406 ,  H04N19/115 ,  H04N19/152 ,  H04N19/159 ,  H04N19/162 ,  H04N19/172 ,  H04N19/61 ,  H04N21/2401 ,  H04N21/44004

摘要： The rate controller in a digital video encoding system is responsible for allocating a bit budget for video frames to be encoded. The rate controller considers many different factors when determining the frame bit budget. One of the factors considered is the complexity of the frames being compressed. Occasionally there will be a very complex frame that is not representative of the overall video frame sequence. Such a rare complex frame may cause a disproportionate affect on the bit budget allocation. The system of the present invention limits the amount that a very complex frame can change the bit budget allocation. The rate controller of the present invention also includes a relaxation factor. The relaxation factor allows a user to determine if the rate controller should strictly allocate its bit budget or relax its standards such that the rate controller may not be so conservative when allocating bits to frames.

摘要翻译： 数字视频编码系统中的速率控制器负责为要编码的视频帧分配比特预算。 速率控制器在确定帧位预算时会考虑许多不同的因素。 考虑的因素之一是被压缩的帧的复杂性。 偶尔会有一个非常复杂的帧，不能代表整个视频帧序列。 这种罕见的复杂框架可能会对比特预算分配造成不成比例的影响。 本发明的系统限制了非常复杂的帧可以改变比特预算分配的量。 本发明的速率控制器还包括松弛因子。 松弛因子允许用户确定速率控制器是否应严格分配其位预算或放宽其标准，使得速率控制器在将位分配给帧时可能不那么保守。

公开(公告)号：US07769084B1

公开(公告)日：2010-08-03

申请号：US10427843

申请日：2003-04-30

申请人： Thomas Pun ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Thomas Pun ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： H04N7/18

CPC分类号： H04N19/126 ,  H04N19/146 ,  H04N19/149 ,  H04N19/176 ,  H04N19/196 ,  H04N19/197 ,  H04N19/61 ,  H04N19/625

摘要： Method For Implementing A Quantizer In A Multimedia Compression And Encoding System is disclosed. In the Quantizer system of the present invention, several new quantization ideas are disclosed. In one embodiment, adjacent macroblocks are grouped together into macroblock groups. The macroblock groups are then assigned a common quantizer value. The common quantizer value may be selected based upon how the macroblocks are encoded, the type of macroblocks within the macroblock group (intra-blocks or inter-blocks), the history of the motion vectors associated with the macroblocks in the macroblock group, the residuals of the macroblocks in the macroblock group, and the energy of the macroblocks in the macroblock group. The quantizer value may be adjusted in a manner that is dependent on the current quantizer value. Specifically, if the quantizer value is at the low end of the quantizer scale, then only small adjustments are made. If the quantizer value is at the high end then larger adjustments may be made to the quantizer. Finally, in one embodiment, the quantizer is implemented along with an inverse quantizer for efficient operation.

摘要翻译： 公开了一种在多媒体压缩和编码系统中实现量化器的方法。 在本发明的量化器系统中，公开了几种新的量化思想。 在一个实施例中，相邻宏块被分组在一起成为宏块组。 然后向宏块组分配一个公共量化器值。 可以基于宏块如何编码，宏块组（块内或块内）中的宏块的类型，与宏块组中的宏块相关联的运动向量的历史来选择公共量化器值，残差 的宏块组中的宏块的能量，以及宏块组中的宏块的能量。 量化器值可以以取决于当前量化器值的方式进行调整。 具体地，如果量化器值处于量化器标尺的低端，则仅进行小的调整。 如果量化器值处于高端，则可以对量化器进行较大的调整。 最后，在一个实施例中，量化器与用于有效操作的逆量化器一起被实现。