公开(公告)号：US20110235709A1

公开(公告)日：2011-09-29

申请号：US12756100

申请日：2010-04-07

申请人： Xiaojin SHI ,  Xiaosong ZHOU ,  Joe ABUAN ,  Hyeonkuk JEONG ,  Jochen Christian SCHMIDT ,  Yan YANG ,  James Oliver NORMILE ,  Hsi-Jung WU

发明人： Xiaojin SHI ,  Xiaosong ZHOU ,  Joe ABUAN ,  Hyeonkuk JEONG ,  Jochen Christian SCHMIDT ,  Yan YANG ,  James Oliver NORMILE ,  Hsi-Jung WU

IPC分类号： H04N7/26 ,  H04N7/32

CPC分类号： H04N21/64723 ,  H04N19/105 ,  H04N19/12 ,  H04N19/132 ,  H04N19/152 ,  H04N19/159 ,  H04N19/164 ,  H04N19/174 ,  H04N19/187 ,  H04N19/30 ,  H04N19/37 ,  H04N19/577 ,  H04N19/59 ,  H04N21/64761

摘要： A video coding and transmission system may employ techniques for adapting buffered video to network condition changes. Video data may be coded as reference data and non-reference data. According to the embodiments, non-reference frame may be detected in buffered video while awaiting transmission to a network. When network degradation is detected, one or more of the buffered non-reference frames may be dropped when network degradation is detected. Information about the dropped frames may be passed to an encoder for updating buffer parameters for future encoding. In this manner, a video coding system may provide faster responses to changing network conditions than systems without such buffer management techniques.

摘要翻译： 视频编码和传输系统可以采用用于将缓冲的视频适配到网络状况变化的技术。 视频数据可以被编码为参考数据和非参考数据。 根据实施例，在等待传输到网络的同时，可以在缓冲视频中检测非参考帧。 当检测到网络劣化时，当检测到网络劣化时，可能会丢弃一个或多个缓冲的非参考帧。 关于丢弃的帧的信息可以被传递到编码器以更新用于将来编码的缓冲器参数。 以这种方式，与没有这种缓冲器管理技术的系统相比，视频编码系统可以对改变的网络条件提供更快的响应。

公开(公告)号：US20100086063A1

公开(公告)日：2010-04-08

申请号：US12415340

申请日：2009-03-31

申请人： Barin Geoffry Haskell ,  Xiaojin Shi

发明人： Barin Geoffry Haskell ,  Xiaojin Shi

IPC分类号： H04N7/26 ,  H04N17/00

CPC分类号： H04N19/156 ,  H04N19/103 ,  H04N19/12 ,  H04N19/132 ,  H04N19/147 ,  H04N19/15 ,  H04N19/154 ,  H04N19/176

摘要： Systems and methods for applying a new quality metric for coding video are provided. The metric, based on the Just Noticeable Difference (JND) distortion visibility model, allows for efficient selection of coding techniques that limit perceptible distortion in the video while still taking into account parameters, such as desired bit rate, that can enhance system performance. Additionally, the unique aspects of each input type, system and display may be considered. Allowing for a programmable minimum viewing distance (MVD) parameter also ensures that the perceptible distortion will not be noticeable at the specified MVD, even though the perceptible distortion may be significant at an alternate distance.

摘要翻译： 提供了应用用于编码视频的新质量度量的系统和方法。 基于JustInable Difference（JND）失真可见性模型的度量能够有效地选择限制视频中可察觉的失真的编码技术，同时仍然考虑可以提高系统性能的所需比特率等参数。 此外，可以考虑每个输入类型，系统和显示器的独特方面。 允许可编程的最小观察距离（MVD）参数还确保在指定的MVD下可感知的失真不会明显，即使可察觉的失真在另一距离处可能是显着的。

公开(公告)号：US20090304086A1

公开(公告)日：2009-12-10

申请号：US12466962

申请日：2009-05-15

申请人： Xiaojin SHI ,  Hsi-Jung WU

发明人： Xiaojin SHI ,  Hsi-Jung WU

IPC分类号： H04N7/12

CPC分类号： H04N19/86 ,  H04N19/103 ,  H04N19/127 ,  H04N19/154 ,  H04N19/156 ,  H04N19/164 ,  H04N19/174 ,  H04N19/176 ,  H04N19/196 ,  H04N19/436 ,  H04N19/46 ,  H04N19/463 ,  H04N19/61

摘要： Embodiments of the present invention provide apparatuses and methods of coding video. The apparatuses and methods may further provide coding a source video sequence according to a block-based coding process, estimating processing capabilities of a target decoder, determining if the estimated processing capabilities are sufficient to perform deblocking filtering. If not sufficient, the apparatuses and methods may provide computing deblocking filter strengths for pixel blocks of the source video sequence to be used at decoding, and transmitting the deblocking filter strengths in a coded video data signal with the coded video data. Moreover, if not sufficient, the apparatuses and methods may provide changing coding parameters including, but not limited to, block sizes, transform sizes, and Qmatrix.

摘要翻译： 本发明的实施例提供了对视频进行编码的装置和方法。 装置和方法可以进一步提供根据基于块的编码处理对源视频序列进行编码，估计目标解码器的处理能力，确定所估计的处理能力是否足以执行去块滤波。 如果不足够，则设备和方法可以为解码时要使用的源视频序列的像素块提供计算解块滤波器强度，并将编码的视频数据信号中的解块滤波器强度传送到编码视频数据。 此外，如果不足够，则设备和方法可以提供改变的编码参数，包括但不限于块大小，变换大小和Qmatrix。

公开(公告)号：US20090180545A1

公开(公告)日：2009-07-16

申请号：US12013094

申请日：2008-01-11

申请人： Hsi-Jung WU ,  Barin Geoffry HASKELL ,  Xiaojin SHI ,  James Oliver NORMILE

发明人： Hsi-Jung WU ,  Barin Geoffry HASKELL ,  Xiaojin SHI ,  James Oliver NORMILE

IPC分类号： H04N7/26

CPC分类号： H04N19/44 ,  H04N19/149 ,  H04N19/152

摘要： Disclosed is a system and method of controlling a video decoder, including a reviewing channel data representing coded video data generated by an encoder to identify parameters of a hypothetical reference decoder (HRD) used by the encoder during coding operations. A parameter representing an exit data rate requirement of a coded picture buffer (CPB) of the HRD is compared against exit rate performance of the video decoder. If the exit rate performance of the video coder matches the exit rate requirement of the HRD, the coded video data is decoded, otherwise, a certain decoding degradation scheme can be applied, including disabling decoder from decoding the coded video data.

摘要翻译： 公开了一种控制视频解码器的系统和方法，包括：代表由编码器产生的编码视频数据的查看频道数据，以识别由编码器在编码操作期间使用的假设参考解码器（HRD）的参数。 将表示HRD的编码图像缓冲器（CPB）的退出数据速率要求的参数与视频解码器的退出速率性能进行比较。 如果视频编码器的退出速率性能与HRD的退出率要求相匹配，则编码的视频数据被解码，否则可以应用某种解码劣化方案，包括禁止解码器解码编码的视频数据。

公开(公告)号：US20090073005A1

公开(公告)日：2009-03-19

申请号：US12256271

申请日：2008-10-22

申请人： Jim NORMILE ,  Thomas PUN ,  Xiaojin SHI ,  Xin TONG ,  Hsi-Jung WU

发明人： Jim NORMILE ,  Thomas PUN ,  Xiaojin SHI ,  Xin TONG ,  Hsi-Jung WU

IPC分类号： H03M7/00

CPC分类号： H04N19/154 ,  H04N19/156 ,  H04N19/164

摘要： Techniques for encoding data based at least in part upon an awareness of the decoding complexity of the encoded data and the ability of a target decoder to decode the encoded data are disclosed. In some embodiments, a set of data is encoded based at least in part upon a state of a target decoder to which the encoded set of data is to be provided. In some embodiments, a set of data is encoded based at least in part upon the states of multiple decoders to which the encoded set of data is to be provided.

摘要翻译： 公开了至少部分地基于编码数据的解码复杂度的意识和目标解码器解码编码数据的能力对数据进行编码的技术。 在一些实施例中，至少部分地基于要提供编码数据集合的目标解码器的状态对数据集进行编码。 在一些实施例中，一组数据至少部分地基于要提供编码数据集的多个解码器的状态进行编码。

公开(公告)号：US20080095238A1

公开(公告)日：2008-04-24

申请号：US11874533

申请日：2007-10-18

申请人： Hsi-Jung WU ,  Barin Geoffry HASKELL ,  Xiaojin SHI

发明人： Hsi-Jung WU ,  Barin Geoffry HASKELL ,  Xiaojin SHI

IPC分类号： H04N7/32 ,  G06K9/48

CPC分类号： H04N19/59 ,  H04N19/44 ,  H04N19/51 ,  H04N19/80

摘要： A First Improvement is Described for Prediction of Motion Vectors to be Used in Prediction of video data for enhancement layer data. Arbitrary pixelblock partitioning between base layer data and enhancement layer data raises problems to identify base layer motion vectors to be used as prediction sources for enhancement layer motion vectors. The disclosed method develops enhancement layer motion vectors by scaling a base layer pixelblock partition map according to a size difference between the base layer video image and the enhancement layer video image, then identified scale base layer pixelblocks that are co-located with the enhancement layer pixelblocks for which motion vector prediction is to be performed. Motion vectors from the scaled co-located base layer pixelblocks are averaged, weighted according to a degree of overlap between the base layer pixelblocks and the enhancement layer pixelblock. Another improvement is obtained by filtering recovered base layer image data before being provided to an enhancement layer decoder. When a specified filter requires image data outside a prediction region available from a base layer decoder, the prediction region data may be supplemented with previously-decoded data from an enhancement layer at a border of the prediction region.

摘要翻译： 第一个改进描述为预测用于增强层数据的视频数据的运动矢量的预测。 基层数据和增强层数据之间的任意像素块划分提出了一些问题，用于识别要用作增强层运动矢量的预测源的基本层运动矢量。 所公开的方法通过根据基本层视频图像和增强层视频图像之间的尺寸差来缩放基本层像素块分割图来开发增强层运动矢量，然后识别与增强层像素块共同定位的比例基底层像素块 进行运动矢量预测。 根据基层像素块和增强层像素块之间的重叠程度对来自缩放的同位置的基本层像素块的运动矢量进行平均化。 通过在提供给增强层解码器之前对恢复的基层图像数据进行滤波来获得另一改进。 当指定的滤波器需要从基本层解码器可用的预测区域之外的图像数据时，可以从预测区域的边界处的增强层补充预先解码的数据。

公开(公告)号：US08599238B2

公开(公告)日：2013-12-03

申请号：US12581043

申请日：2009-10-16

申请人： Hsi-Jung Wu ,  Chris Yoochang Chung ,  Xiaojin Shi ,  James Normile

发明人： Hsi-Jung Wu ,  Chris Yoochang Chung ,  Xiaojin Shi ,  James Normile

IPC分类号： H04N7/14

CPC分类号： G06K9/00228 ,  G06T3/00 ,  G06T5/006 ,  G06T2207/20104 ,  G06T2207/30201 ,  H04N5/217 ,  H04N5/23219 ,  H04N5/23258 ,  H04N5/23267

摘要： Methods, systems, and apparatus are presented for reducing distortion in an image, such as a video image. A video image can be captured by an image capture device, e.g. during a video conferencing session. Distortion correction processing, such as the application of one or more warping techniques, can be applied to the captured image to produce a distortion corrected image, which can be transmitted to one or more participants. The warping techniques can be performed in accordance with one or more warp parameters specifying a transformation of the captured image. Further, the warp parameters can be generated in accordance with an orientation of the image capture device, which can be determined based on sensor data or can be a fixed value. Additionally or alternatively, the warp parameters can be determined in accordance with a reference image or model to which the captured image should be warped.

摘要翻译： 呈现了用于减少诸如视频图像的图像中的失真的方法，系统和装置。 视频图像可以由图像捕获设备捕获，例如， 在视频会议期间。 畸变校正处理，例如应用一个或多个翘曲技术，可以应用于所捕获的图像，以产生可以发送到一个或多个参与者的失真校正图像。 翘曲技术可以根据指定捕获图像的变换的一个或多个翘曲参数来执行。 此外，可以根据可以基于传感器数据确定的图像捕获装置的取向来生成翘曲参数，或者可以是固定值。 附加地或替代地，可以根据捕获的图像应该翘曲的参考图像或模型来确定翘曲参数。

公开(公告)号：US08558903B2

公开(公告)日：2013-10-15

申请号：US12755620

申请日：2010-04-07

申请人： Yuxin Liu ,  Xiaojin Shi ,  James Oliver Normile ,  Hsi-Jung Wu

发明人： Yuxin Liu ,  Xiaojin Shi ,  James Oliver Normile ,  Hsi-Jung Wu

IPC分类号： H04N5/228

CPC分类号： H04N5/23248 ,  H04N5/23254 ,  H04N5/23258 ,  H04N5/23267

摘要： Embodiments of the present invention provide a control system for video processes that selectively control the operation of motion stabilization processes. According to the present invention, motion sensor data indicative of motion of a mobile device may be received and processed. A determination may be made by comparing processed motion sensor data to a threshold. Based on the determination, motion stabilization may be suspended on select portions of a captured video sequence.

摘要翻译： 本发明的实施例提供了一种用于视频过程的控制系统，其选择性地控制运动稳定过程的操作。 根据本发明，可以接收并处理表示移动设备的运动的运动传感器数据。 可以通过将经处理的运动传感器数据与阈值进行比较来确定。 基于该确定，可以在拍摄的视频序列的选择部分上暂停运动稳定。

公开(公告)号：US08345774B2

公开(公告)日：2013-01-01

申请号：US12013094

申请日：2008-01-11

申请人： Hsi-Jung Wu ,  Barin Geoffry Haskell ,  Xiaojin Shi ,  James Oliver Normile

发明人： Hsi-Jung Wu ,  Barin Geoffry Haskell ,  Xiaojin Shi ,  James Oliver Normile

IPC分类号： H04N7/12

CPC分类号： H04N19/44 ,  H04N19/149 ,  H04N19/152

摘要： Disclosed is a system and method of controlling a video decoder, including a reviewing channel data representing coded video data generated by an encoder to identify parameters of a hypothetical reference decoder (HRD) used by the encoder during coding operations. A parameter representing an exit data rate requirement of a coded picture buffer (CPB) of the HRD is compared against exit rate performance of the video decoder. If the exit rate performance of the video coder matches the exit rate requirement of the HRD, the coded video data is decoded, otherwise, a certain decoding degradation scheme can be applied, including disabling decoder from decoding the coded video data.

摘要翻译： 公开了一种控制视频解码器的系统和方法，包括：代表由编码器产生的编码视频数据的查看频道数据，以识别由编码器在编码操作期间使用的假设参考解码器（HRD）的参数。 将表示HRD的编码图像缓冲器（CPB）的退出数据速率要求的参数与视频解码器的退出速率性能进行比较。 如果视频编码器的退出速率性能与HRD的退出率要求相匹配，则编码的视频数据被解码，否则可以应用某种解码劣化方案，包括禁止解码器解码编码的视频数据。

公开(公告)号：US08270498B2

公开(公告)日：2012-09-18

申请号：US12463859

申请日：2009-05-11

申请人： Gianluca Filippini ,  Hsi-Jung Wu ,  James Oliver Normile ,  Xiaojin Shi ,  Xiaosong Zhou ,  Ionut Hristodorescu

发明人： Gianluca Filippini ,  Hsi-Jung Wu ,  James Oliver Normile ,  Xiaojin Shi ,  Xiaosong Zhou ,  Ionut Hristodorescu

IPC分类号： H04N7/12 ,  G06K9/40

CPC分类号： H04N19/90 ,  H04N19/124 ,  H04N19/136 ,  H04N19/154 ,  H04N19/86

摘要： A method and device for dithering video from a decoder. The method and device provide: selecting a segment of video frames from the video; computing a noise map for the segment of the video, the noise map computed from differences among pixels selected from spatially-distributed sampling patterns in the segment; determining contours of quantization artifacts within the video frame based on the noise map and a histogram of pixel values in the video frame; computing a gradient measurement of pixel values along the contours; identifying regions along the contours of quantization artifacts to apply dithering based on the noise map and the gradient measurement; determining a dithering strength based on the noise map and the gradient measurement; and applying dithering noise to the identified regions at the determined dithering strength.

摘要翻译： 一种从解码器抖动视频的方法和装置。 该方法和设备提供：从视频中选择一段视频帧; 计算视频段的噪声映射，根据从片段中的空间分布采样模式中选择的像素之间的差异计算的噪声图; 基于噪声图和视频帧中的像素值的直方图确定视频帧内的量化伪像的轮廓; 计算沿着轮廓的像素值的梯度测量; 识别沿着量化伪影轮廓的区域，以基于噪声图和梯度测量应用抖动; 基于噪声图和梯度测量确定抖动强度; 并以确定的抖动强度对所识别的区域施加抖动噪声。