公开(公告)号：US20110249074A1

公开(公告)日：2011-10-13

申请号：US12794768

申请日：2010-06-06

申请人： Elizabeth C. Cranfill ,  Stephen O. Lemay ,  Hsi-Jung Wu ,  Xiaosong Zhou ,  Joe S. Abuan ,  Hyeonkuk Jeong ,  Roberto Garcia, JR.

发明人： Elizabeth C. Cranfill ,  Stephen O. Lemay ,  Hsi-Jung Wu ,  Xiaosong Zhou ,  Joe S. Abuan ,  Hyeonkuk Jeong ,  Roberto Garcia, JR.

IPC分类号： H04N7/15

CPC分类号： H04N7/141 ,  G06F3/04817 ,  G06F3/04842 ,  G06F3/04886 ,  G06F9/451 ,  G09G5/14 ,  H04M1/72583 ,  H04N5/2258 ,  H04N5/2624 ,  H04N5/272 ,  H04N7/147 ,  H04N7/15

摘要： Some embodiments provide a method for modifying a composite display of a first mobile device that is engaged in a video conference with a second device. The method presents, on the first device, the composite display having a first video captured by the first device and a second video captured by the second device. The method receives, at the first device, an input for modifying the composite display during the video conference. The method modifies the composite display based on the received input.

摘要翻译： 一些实施例提供了一种用于修改与第二设备进行视频会议的第一移动设备的复合显示器的方法。 该方法在第一设备上呈现具有由第一设备捕获的第一视频和由第二设备捕获的第二视频的复合显示器。 该方法在第一设备处接收用于在视频会议期间修改复合显示器的输入。 该方法基于接收到的输入修改复合显示。

公开(公告)号：US08830092B2

公开(公告)日：2014-09-09

申请号：US13156610

申请日：2011-06-09

申请人： Jim Normile ,  Thomas Pun ,  Xiaojin Shi ,  Xin Tong ,  Hsi-Jung Wu

发明人： Jim Normile ,  Thomas Pun ,  Xiaojin Shi ,  Xin Tong ,  Hsi-Jung Wu

IPC分类号： H03M7/00

CPC分类号： H04N19/154 ,  H04N19/156 ,  H04N19/164

摘要： Techniques for encoding data based at least in part upon an awareness of the decoding complexity of the encoded data and the ability of a target decoder to decode the encoded data are disclosed. In some embodiments, a set of data is encoded based at least in part upon a state of a target decoder to which the encoded set of data is to be provided. In some embodiments, a set of data is encoded based at least in part upon the states of multiple decoders to which the encoded set of data is to be provided.

摘要翻译： 公开了至少部分地基于编码数据的解码复杂度的意识和目标解码器解码编码数据的能力对数据进行编码的技术。 在一些实施例中，至少部分地基于要提供编码数据集合的目标解码器的状态对数据集进行编码。 在一些实施例中，一组数据至少部分地基于要提供编码数据集的多个解码器的状态进行编码。

公开(公告)号：US08477843B2

公开(公告)日：2013-07-02

申请号：US13078922

申请日：2011-04-01

申请人： Xiaochun Nie ,  Thomas Pun ,  Hsi-Jung Wu

发明人： Xiaochun Nie ,  Thomas Pun ,  Hsi-Jung Wu

IPC分类号： H04N7/26 ,  H04N7/30 ,  H04N7/24

CPC分类号： H04N21/23406 ,  H04N19/115 ,  H04N19/152 ,  H04N19/159 ,  H04N19/162 ,  H04N19/172 ,  H04N19/61 ,  H04N21/2401 ,  H04N21/44004

摘要： The rate controller in a digital video encoding system is responsible for allocating a bit budget for video frames to be encoded. The rate controller considers many different factors when determining the frame bit budget. One of the factors considered is the complexity of the frames being compressed. Occasionally there will be a very complex frame that is not representative of the overall video frame sequence. Such a rare complex frame may cause a disproportionate affect on the bit budget allocation. The system of the present invention limits the amount that a very complex frame can change the bit budget allocation. The rate controller of the present invention also includes a relaxation factor. The relaxation factor allows a user to determine if the rate controller should strictly allocate its bit budget or relax its standards such that the rate controller may not be so conservative when allocating bits to frames.

摘要翻译： 数字视频编码系统中的速率控制器负责为要编码的视频帧分配比特预算。 速率控制器在确定帧位预算时会考虑许多不同的因素。 考虑的因素之一是被压缩的帧的复杂性。 偶尔会有一个非常复杂的帧，不能代表整个视频帧序列。 这种罕见的复杂框架可能会对比特预算分配造成不成比例的影响。 本发明的系统限制了非常复杂的帧可以改变比特预算分配的量。 本发明的速率控制器还包括松弛因子。 松弛因子允许用户确定速率控制器是否应严格分配其位预算或放宽其标准，使得速率控制器在将位分配给帧时可能不那么保守。

公开(公告)号：US08295343B2

公开(公告)日：2012-10-23

申请号：US11473248

申请日：2006-06-23

申请人： Xin Tong ,  Barin Geoffry Haskell ,  Hsi-Jung Wu

发明人： Xin Tong ,  Barin Geoffry Haskell ,  Hsi-Jung Wu

IPC分类号： H04N7/12

CPC分类号： H04N19/198 ,  H04N19/124 ,  H04N19/146 ,  H04N19/152 ,  H04N19/172 ,  H04N19/177 ,  H04N19/192 ,  H04N19/196 ,  H04N19/61

摘要： This invention is directed to a video bit rate control method for encoding a video sequence based on a decoder buffer condition and a group of picture (GOP) size limitation of the encoded video sequence. The method includes iteratively adjusting a quantization parameter and/or a masking strength parameter and encoding the video sequence at the adjusted parameters until the buffer condition and GOP size limitation are satisfied. The method makes the above adjustments to avoid buffer underflow and GOP oversizing.

摘要翻译： 本发明涉及一种视频比特率控制方法，用于根据解码器缓冲器条件和编码视频序列的一组图像（GOP）尺寸限制对视频序列进行编码。 该方法包括迭代地调整量化参数和/或掩蔽强度参数，并以调整的参数对视频序列进行编码，直到满足缓冲条件和GOP大小限制。 该方法进行上述调整，以避免缓冲区下溢和GOP超大。

公开(公告)号：US07986731B2

公开(公告)日：2011-07-26

申请号：US10811983

申请日：2004-03-30

申请人： Barin Haskell ,  Adriana Dumitras ,  James Normile ,  Hsi-Jung Wu ,  Xiaochun Nie ,  Atul Puri

发明人： Barin Haskell ,  Adriana Dumitras ,  James Normile ,  Hsi-Jung Wu ,  Xiaochun Nie ,  Atul Puri

IPC分类号： H04N7/12

CPC分类号： H04N19/198 ,  H04N19/115 ,  H04N19/124 ,  H04N19/132 ,  H04N19/14 ,  H04N19/142 ,  H04N19/149 ,  H04N19/152 ,  H04N19/172 ,  H04N19/196 ,  H04N19/61 ,  H04N19/82

摘要： A rate control system is disclosed for video coding applications. The rate controller assigns a quantization parameter for video data in a picture in response to complexity indicators indicative of spatial complexity, motion complexity and/or bits per pel of the picture. A virtual buffer based quantizer parameter is proposed based on a virtual buffer fullness analysis and a target rate estimate, which is derived from the complexity indicators. A second quantizer parameter is proposed from a linear regression analysis of quantizer parameters used to code previously coded pictures of similar type (e.g., I pictures, P pictures or B pictures). A coding policy decision unit defines a final quantizer parameter from a comparison of the two proposed quantizer parameters.

摘要翻译： 公开了一种用于视频编码应用的速率控制系统。 速率控制器响应于表示图像的空间复杂度，运动复杂度和/或每像素的复杂度指示符，为图像中的视频数据分配量化参数。 基于虚拟缓冲区丰满度分析和目标速率估计提出了一种基于虚拟缓冲器的量化器参数，该参数是从复杂性指标中得出的。 从用于对先前编码的类似类型的图像（例如，I图像，P图像或B图像）进行编码的量化器参数的线性回归分析提出了第二量化参数。 编码策略决定单元根据两个提出的量化器参数的比较来定义最终的量化器参数。

公开(公告)号：US20110090303A1

公开(公告)日：2011-04-21

申请号：US12581043

申请日：2009-10-16

申请人： Hsi-Jung Wu ,  Chris Yoochang Chung ,  Xiaojin Shi ,  James Normile

发明人： Hsi-Jung Wu ,  Chris Yoochang Chung ,  Xiaojin Shi ,  James Normile

IPC分类号： H04N7/15 ,  H04N5/217

CPC分类号： G06K9/00228 ,  G06T3/00 ,  G06T5/006 ,  G06T2207/20104 ,  G06T2207/30201 ,  H04N5/217 ,  H04N5/23219 ,  H04N5/23258 ,  H04N5/23267

摘要： Methods, systems, and apparatus are presented for reducing distortion in an image, such as a video image. A video image can be captured by an image capture device, e.g. during a video conferencing session. Distortion correction processing, such as the application of one or more warping techniques, can be applied to the captured image to produce a distortion corrected image, which can be transmitted to one or more participants. The warping techniques can be performed in accordance with one or more warp parameters specifying a transformation of the captured image. Further, the warp parameters can be generated in accordance with an orientation of the image capture device, which can be determined based on sensor data or can be a fixed value. Additionally or alternatively, the warp parameters can be determined in accordance with a reference image or model to which the captured image should be warped.

摘要翻译： 呈现了用于减少诸如视频图像的图像中的失真的方法，系统和装置。 视频图像可以由图像捕获设备捕获，例如， 在视频会议期间。 畸变校正处理，例如应用一个或多个翘曲技术，可以应用于所捕获的图像，以产生可以发送到一个或多个参与者的失真校正图像。 翘曲技术可以根据指定捕获图像的变换的一个或多个翘曲参数来执行。 此外，可以根据可以基于传感器数据确定的图像捕获装置的取向来生成翘曲参数，或者可以是固定值。 附加地或替代地，可以根据捕获的图像应该翘曲的参考图像或模型来确定翘曲参数。

公开(公告)号：US07769084B1

公开(公告)日：2010-08-03

申请号：US10427843

申请日：2003-04-30

申请人： Thomas Pun ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Thomas Pun ,  Roger Kumar ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： H04N7/18

CPC分类号： H04N19/126 ,  H04N19/146 ,  H04N19/149 ,  H04N19/176 ,  H04N19/196 ,  H04N19/197 ,  H04N19/61 ,  H04N19/625

摘要： Method For Implementing A Quantizer In A Multimedia Compression And Encoding System is disclosed. In the Quantizer system of the present invention, several new quantization ideas are disclosed. In one embodiment, adjacent macroblocks are grouped together into macroblock groups. The macroblock groups are then assigned a common quantizer value. The common quantizer value may be selected based upon how the macroblocks are encoded, the type of macroblocks within the macroblock group (intra-blocks or inter-blocks), the history of the motion vectors associated with the macroblocks in the macroblock group, the residuals of the macroblocks in the macroblock group, and the energy of the macroblocks in the macroblock group. The quantizer value may be adjusted in a manner that is dependent on the current quantizer value. Specifically, if the quantizer value is at the low end of the quantizer scale, then only small adjustments are made. If the quantizer value is at the high end then larger adjustments may be made to the quantizer. Finally, in one embodiment, the quantizer is implemented along with an inverse quantizer for efficient operation.

摘要翻译： 公开了一种在多媒体压缩和编码系统中实现量化器的方法。 在本发明的量化器系统中，公开了几种新的量化思想。 在一个实施例中，相邻宏块被分组在一起成为宏块组。 然后向宏块组分配一个公共量化器值。 可以基于宏块如何编码，宏块组（块内或块内）中的宏块的类型，与宏块组中的宏块相关联的运动向量的历史来选择公共量化器值，残差 的宏块组中的宏块的能量，以及宏块组中的宏块的能量。 量化器值可以以取决于当前量化器值的方式进行调整。 具体地，如果量化器值处于量化器标尺的低端，则仅进行小的调整。 如果量化器值处于高端，则可以对量化器进行较大的调整。 最后，在一个实施例中，量化器与用于有效操作的逆量化器一起被实现。

公开(公告)号：US20080147765A1

公开(公告)日：2008-06-19

申请号：US12037061

申请日：2008-02-25

申请人： Roger Kumar ,  Maynard Handley ,  Thomas Pun ,  Xiaochun Nie ,  Hsi-Jung Wu

发明人： Roger Kumar ,  Maynard Handley ,  Thomas Pun ,  Xiaochun Nie ,  Hsi-Jung Wu

IPC分类号： G06F17/14

CPC分类号： G06F17/147

摘要： Some embodiments of the invention provide a method of performing a Discrete Cosine Transform (“DCT”) encoding or decoding coefficients of a data array by (1) multiplying the coefficients by a scalar value before the encoding or decoding, and then (2) dividing the encoded or decoded coefficients by the scalar value. When used in conjunction with fixed-point arithmetic, this method increases the precision of the encoded and decoded results. In addition, some embodiments provide a method of performing a two-dimensional (2D) Inverse Discrete Cosine Transform (“iDCT”). This method splits a pre-multiplication operation of the iDCT into two or more separate stages. When used in conjunction with fixed-point arithmetic, this splitting increases the precision of the decoded results of the iDCT.

摘要翻译： 本发明的一些实施例提供了一种通过以下步骤对数据阵列的系数进行编码或解码的离散余弦变换（“DCT”）的方法：（1）在编码或解码之前将系数乘以标量值，然后（2） 编码或解码的系数乘以标量值。 当与定点算术结合使用时，该方法提高了编码和解码结果的精度。 此外，一些实施例提供了执行二维（2D）逆离散余弦变换（“iDCT”）的方法。 该方法将iDCT的预乘法运算分为两个或多个独立的阶段。 当与定点算术结合使用时，该分割增加了iDCT的解码结果的精度。

公开(公告)号：US06798918B2

公开(公告)日：2004-09-28

申请号：US10124932

申请日：2002-04-17

申请人： Ke-Chiang Chu ,  Jian Lu ,  Yu Tina Tian ,  Hsi-Jung Wu

发明人： Ke-Chiang Chu ,  Jian Lu ,  Yu Tina Tian ,  Hsi-Jung Wu

IPC分类号： G06K940

CPC分类号： G06T9/00 ,  G06T5/002 ,  G06T7/12 ,  G06T2207/10016 ,  G06T2207/20021 ,  H04N19/86

摘要： A system and method using edge processing to remove blocking artifacts comprises an edge processor having an image converter for building an edge representation of a received image, a statistics analyzer for compiling a histogram containing edge intensities of the edge representation, a reference calculator for using the histogram to compute reference values corresponding to the blocking artifacts and an artifact remover for identifying and removing the blocking artifacts using the computed reference values.

摘要翻译： 使用边缘处理去除块状伪影的系统和方法包括具有用于构建接收图像的边缘表示的图像转换器的边缘处理器，用于编译包含边缘表示的边缘强度的直方图的统计分析器，用于使用边缘表示的参考计算器 直方图以计算对应于块伪像的参考值，以及伪像去除器，用于使用计算的参考值来识别和去除块伪像。

公开(公告)号：US5623262A

公开(公告)日：1997-04-22

申请号：US291655

申请日：1994-08-17

申请人： James O. Normile ,  Katherine Shu-wei Wang ,  Ke-Chiang Chu ,  Dulce B. Ponceleon ,  Hsi-Jung Wu

发明人： James O. Normile ,  Katherine Shu-wei Wang ,  Ke-Chiang Chu ,  Dulce B. Ponceleon ,  Hsi-Jung Wu

IPC分类号： H03M7/42 ,  H03M7/40

CPC分类号： H03M7/425

摘要： Decoding and encoding of variable length data words and data strings is accelerated by testing for and processing more than one word or string per encoding or decoding cycle. In an encoding scheme wherein fixed length data words are encoded into variable length data strings, decoding is carried out by first receiving a data stream having a plurality of encoded data strings contained therein, and then testing at least a portion of the data stream to determine whether the portion contains one of a number of selected sets of multiple data strings. If the portion of the data stream contains one of the selected sets of multiple data strings, the multiple data strings are decoded into a corresponding set of multiple data words. This decoding procedure allows a plurality of encoded data strings to be decoded in a single decoding cycle. The procedure may be implemented using either a single lookup table or a set of split-level lookup tables. The above procedure may also be applied to an encoding scheme wherein variable length data words are transformed into fixed length encoded data strings to encode the variable length data words. Furthermore, the above procedure may be applied to an encoding scheme wherein variable length data words are transformed into variable length data strings to both encode and decode the variable length data words and data strings.

摘要翻译： 可变长度数据字和数据串的解码和编码通过对每个编码或解码周期进行测试和处理多个字或字符串来加速。 在将固定长度数据字编码为可变长度数据串的编码方案中，通过首先接收其中包含多个编码数据串的数据流，然后测试数据流的至少一部分来确定 该部分是否包含多个选定的多个数据串集合中的一个。 如果数据流的部分包含所选择的多个数据串集合中的一个，则将多个数据串解码成相应的多个数据字集合。 该解码过程允许在单个解码周期中解码多个编码数据串。 该过程可以使用单个查找表或一组拆分级查找表来实现。 上述过程也可以应用于其中可变长度数据字被变换成固定长度编码数据串以对可变长度数据字进行编码的编码方案。 此外，上述过程可以应用于编码方案，其中可变长度数据字被变换成可变长度数据串，以对可变长度数据字和数据串进行编码和解码。