公开(公告)号：US09571856B2

公开(公告)日：2017-02-14

申请号：US12197922

申请日：2008-08-25

申请人： Shijun Sun ,  Shankar Regunathan ,  Chengjie Tu ,  Chih-Lung Lin

发明人： Shijun Sun ,  Shankar Regunathan ,  Chengjie Tu ,  Chih-Lung Lin

IPC分类号： H04N7/12 ,  H04N19/59 ,  H04N19/149 ,  H04N19/117 ,  H04N19/186 ,  H04N19/187 ,  H04N19/33 ,  H04N19/86 ,  H04N19/40

CPC分类号： H04N19/59 ,  H04N19/117 ,  H04N19/149 ,  H04N19/186 ,  H04N19/187 ,  H04N19/33 ,  H04N19/40 ,  H04N19/86

摘要： Techniques and tools for conversion operations between modules in a scalable video encoding tool or scalable video decoding tool are described. For example, given reconstructed base layer video in a low resolution format (e.g., 4:2:0 video with 8 bits per sample) an encoding tool and decoding tool adaptively filter the reconstructed base layer video and upsample its sample values to a higher sample depth (e.g., 10 bits per sample). The tools also adaptively scale chroma samples to a higher chroma sampling rate (e.g., 4:2:2). The adaptive filtering and chroma scaling help reduce energy in inter-layer residual video by making the reconstructed base layer video closer to input video, which typically makes compression of the inter-layer residual video more efficient. The encoding tool also remaps sample values of the inter-layer residual video to adjust dynamic range before encoding, and the decoding tool performs inverse remapping after decoding.

摘要翻译： 描述了可扩展视频编码工具或可扩展视频解码工具中的模块之间的转换操作的技术和工具。 例如，给定以低分辨率格式的重建基层视频（例如，具有每个样本8位的4：2：0视频），编码工具和解码工具自适应地过滤重建的基层视频并将其样本值上采样到较高的样本 深度（例如每个样本10位）。 这些工具还可以自适应地将色度样本缩放到更高的色度采样率（例如4：2：2）。 自适应滤波和色度缩放有助于通过使重构的基本层视频更接近输入视频来减少层间残留视频中的能量，这通常使得层间残留视频的压缩更有效。 编码工具还重新映射层间残差视频的采样值，以便在编码之前调整动态范围，并且解码工具在解码之后执行反向重新映射。

公开(公告)号：US20100046612A1

公开(公告)日：2010-02-25

申请号：US12197922

申请日：2008-08-25

申请人： Shijun Sun ,  Shankar Regunathan ,  Chengjie Tu ,  Chih-Lung Lin

发明人： Shijun Sun ,  Shankar Regunathan ,  Chengjie Tu ,  Chih-Lung Lin

IPC分类号： H04N7/26

CPC分类号： H04N19/59 ,  H04N19/117 ,  H04N19/149 ,  H04N19/186 ,  H04N19/187 ,  H04N19/33 ,  H04N19/40 ,  H04N19/86

摘要： Techniques and tools for conversion operations between modules in a scalable video encoding tool or scalable video decoding tool are described. For example, given reconstructed base layer video in a low resolution format (e.g., 4:2:0 video with 8 bits per sample) an encoding tool and decoding tool adaptively filter the reconstructed base layer video and upsample its sample values to a higher sample depth (e.g., 10 bits per sample). The tools also adaptively scale chroma samples to a higher chroma sampling rate (e.g., 4:2:2). The adaptive filtering and chroma scaling help reduce energy in inter-layer residual video by making the reconstructed base layer video closer to input video, which typically makes compression of the inter-layer residual video more efficient. The encoding tool also remaps sample values of the inter-layer residual video to adjust dynamic range before encoding, and the decoding tool performs inverse remapping after decoding.

摘要翻译： 描述了可扩展视频编码工具或可扩展视频解码工具中的模块之间的转换操作的技术和工具。 例如，给定以低分辨率格式的重建基层视频（例如，具有每个样本8位的4：2：0视频），编码工具和解码工具自适应地过滤重建的基层视频并将其样本值上采样到较高的样本 深度（例如每个样本10位）。 这些工具还可以自适应地将色度样本缩放到更高的色度采样率（例如4：2：2）。 自适应滤波和色度缩放有助于通过使重构的基本层视频更接近输入视频来减少层间残留视频中的能量，这通常使得层间残留视频的压缩更有效。 编码工具还重新映射层间残差视频的采样值，以便在编码之前调整动态范围，并且解码工具在解码之后执行反向重新映射。

公开(公告)号：US08711948B2

公开(公告)日：2014-04-29

申请号：US12077768

申请日：2008-03-21

申请人： Chengjie Tu ,  Sridhar Srinivasan ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

发明人： Chengjie Tu ,  Sridhar Srinivasan ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

IPC分类号： H04N7/12

CPC分类号： H04N19/00442 ,  H04N19/30 ,  H04N19/34 ,  H04N19/61 ,  H04N19/63

摘要： Techniques and tools are described for scalable video encoding and decoding. In some embodiments, an encoding tool encodes base layer video and outputs encoded base layer video in a base layer bit stream. The encoding tool encodes inter-layer residual video (representing differences between input video and reconstructed base layer video) using motion compensation relative to previously reconstructed inter-layer residual video. For the inter-layer residual video, the encoding tool outputs motion information and motion-compensated prediction residuals in an enhancement layer bit stream. A decoding tool receives the base layer bit stream and enhancement layer bit stream, reconstructs base layer video, reconstructs inter-layer residual video, and combines the reconstructed base layer video and reconstructed inter-layer residual video. Using motion compensation for the inter-layer residual video facilitates the use of separate motion vectors and separate codecs for the base layer video and inter-layer residual video.

摘要翻译： 描述了可扩展视频编码和解码的技术和工具。 在一些实施例中，编码工具对基层视频进行编码并在基层比特流中输出经编码的基层视频。 编码工具使用相对于先前重建的层间残留视频的运动补偿来编码层间残差视频（表示输入视频和重建的基本层视频之间的差异）。 对于层间残差视频，编码工具在增强层比特流中输出运动信息和运动补偿预测残差。 解码工具接收基层比特流和增强层比特流，重构基层视频，重建层间残留视频，并组合重建的基层视频和重建层间残留视频。 对于层间残留视频使用运动补偿有助于使用单独的运动矢量和单独的编解码器用于基本层视频和层间残留视频。

公开(公告)号：US20120243615A1

公开(公告)日：2012-09-27

申请号：US13458774

申请日：2012-04-27

申请人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

发明人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

IPC分类号： H04N7/26

CPC分类号： H04N19/174 ,  G06T9/005 ,  H04N19/129 ,  H04N19/13 ,  H04N19/132 ,  H04N19/136 ,  H04N19/15 ,  H04N19/152 ,  H04N19/162 ,  H04N19/172 ,  H04N19/176 ,  H04N19/40 ,  H04N19/44 ,  H04N19/46 ,  H04N19/61 ,  H04N19/91

摘要： Techniques and tools for encoding and decoding a block of frequency coefficients are presented. An encoder selects a scan order from multiple available scan orders and then applies the selected scan order to a two-dimensional matrix of transform coefficients, grouping non-zero values of the frequency coefficients together in a one-dimensional string. The encoder entropy encodes the one-dimensional string of coefficient values according to a multi-level nested set representation. In decoding, a decoder entropy decodes the one-dimensional string of coefficient values from the multi-level nested set representation. The decoder selects the scan order from among multiple available scan orders and then reorders the coefficients back into a two-dimensional matrix using the selected scan order.

摘要翻译： 提出了用于编码和解码频率系数块的技术和工具。 编码器从多个可用扫描顺序中选择扫描顺序，然后将所选择的扫描顺序应用于变换系数的二维矩阵，将频率系数的非零值在一维串中分组。 编码器根据多级嵌套集合表示对一维系列值串进行编码。 在解码中，解码器熵从多级嵌套集合表示解码系数值的一维串。 解码器从多个可用扫描顺序中选择扫描顺序，然后使用所选择的扫描顺序将系数重新排序成二维矩阵。

公开(公告)号：US08213503B2

公开(公告)日：2012-07-03

申请号：US12205689

申请日：2008-09-05

申请人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

发明人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

IPC分类号： H04N7/12

CPC分类号： H04N21/234381 ,  H04N19/103 ,  H04N19/132 ,  H04N19/147 ,  H04N19/176 ,  H04N19/187 ,  H04N19/33 ,  H04N19/51 ,  H04N19/61 ,  H04N21/2383

摘要： Techniques and tools for skip modes in encoding and decoding of inter-layer residual video are described. For example, an encoder encodes multiple macroblocks of a picture of inter-layer residual video. For a current macroblock that is skipped, the encoder selects a skip mode from among multiple available skip modes and uses the selected skip mode when encoding the current macroblock. The skip modes can include intra skip mode and predicted-motion skip mode. A corresponding decoder, for the current macroblock, selects and uses the skip mode for the current macroblock during decoding. As another example, an encoder encodes multiple channels of a picture of inter-layer residual video. For each channel, the encoder determines whether to skip the channel. The encoder signals channel skip information to indicate which channels are skipped. A corresponding decoder parses the channel skip information and determines on a channel-by-channel basis whether to skip the respective channels.

摘要翻译： 描述了层间残差视频编码和解码中跳过模式的技术和工具。 例如，编码器编码层间残留视频的图像的多个宏块。 对于跳过的当前宏块，编码器从多个可用跳过模式中选择跳过模式，并且在对当前宏块进行编码时使用所选择的跳过模式。 跳过模式可以包括帧内跳过模式和预测运动跳过模式。 对于当前宏块，对应的解码器在解码期间选择并使用当前宏块的跳过模式。 作为另一示例，编码器对层间残留视频的图像的多个信道进行编码。 对于每个通道，编码器确定是否跳过通道。 编码器信号通道跳过信息以指示哪些通道被跳过。 相应的解码器解析信道跳过信息，并且逐个信道地确定是否跳过相应的信道。

公开(公告)号：US20100061447A1

公开(公告)日：2010-03-11

申请号：US12205689

申请日：2008-09-05

申请人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

发明人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

IPC分类号： H04N7/12

CPC分类号： H04N21/234381 ,  H04N19/103 ,  H04N19/132 ,  H04N19/147 ,  H04N19/176 ,  H04N19/187 ,  H04N19/33 ,  H04N19/51 ,  H04N19/61 ,  H04N21/2383

摘要： Techniques and tools for skip modes in encoding and decoding of inter-layer residual video are described. For example, an encoder encodes multiple macroblocks of a picture of inter-layer residual video. For a current macroblock that is skipped, the encoder selects a skip mode from among multiple available skip modes and uses the selected skip mode when encoding the current macroblock. The skip modes can include intra skip mode and predicted-motion skip mode. A corresponding decoder, for the current macroblock, selects and uses the skip mode for the current macroblock during decoding. As another example, an encoder encodes multiple channels of a picture of inter-layer residual video. For each channel, the encoder determines whether to skip the channel. The encoder signals channel skip information to indicate which channels are skipped. A corresponding decoder parses the channel skip information and determines on a channel-by-channel basis whether to skip the respective channels.

摘要翻译： 描述了层间残差视频编码和解码中跳过模式的技术和工具。 例如，编码器编码层间残留视频的图像的多个宏块。 对于跳过的当前宏块，编码器从多个可用跳过模式中选择跳过模式，并且在对当前宏块进行编码时使用所选择的跳过模式。 跳过模式可以包括帧内跳过模式和预测运动跳过模式。 对于当前宏块，对应的解码器在解码期间选择并使用当前宏块的跳过模式。 作为另一示例，编码器对层间残留视频的图像的多个信道进行编码。 对于每个通道，编码器确定是否跳过通道。 编码器信号通道跳过信息以指示哪些通道被跳过。 相应的解码器解析信道跳过信息，并且逐个信道地确定是否跳过相应的信道。

公开(公告)号：US08179974B2

公开(公告)日：2012-05-15

申请号：US12151069

申请日：2008-05-02

申请人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

发明人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

IPC分类号： H04B1/66

CPC分类号： H04N19/174 ,  G06T9/005 ,  H04N19/129 ,  H04N19/13 ,  H04N19/132 ,  H04N19/136 ,  H04N19/15 ,  H04N19/152 ,  H04N19/162 ,  H04N19/172 ,  H04N19/176 ,  H04N19/40 ,  H04N19/44 ,  H04N19/46 ,  H04N19/61 ,  H04N19/91

摘要： Techniques and tools for encoding and decoding a block of frequency coefficients are presented. An encoder selects a scan order from multiple available scan orders and then applies the selected scan order to a two-dimensional matrix of transform coefficients, grouping non-zero values of the frequency coefficients together in a one-dimensional string. The encoder entropy encodes the one-dimensional string of coefficient values according to a multi-level nested set representation. In decoding, a decoder entropy decodes the one-dimensional string of coefficient values from the multi-level nested set representation. The decoder selects the scan order from among multiple available scan orders and then reorders the coefficients back into a two-dimensional matrix using the selected scan order.

摘要翻译： 提出了用于编码和解码频率系数块的技术和工具。 编码器从多个可用扫描顺序中选择扫描顺序，然后将所选择的扫描顺序应用于变换系数的二维矩阵，将频率系数的非零值在一维串中分组。 编码器根据多级嵌套集合表示对一维系列值串进行编码。 在解码中，解码器熵从多级嵌套集合表示解码系数值的一维串。 解码器从多个可用扫描顺序中选择扫描顺序，然后使用所选择的扫描顺序将系数重新排序成二维矩阵。

公开(公告)号：US20090273706A1

公开(公告)日：2009-11-05

申请号：US12151069

申请日：2008-05-02

申请人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

发明人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

IPC分类号： H04N1/415

CPC分类号： H04N19/174 ,  G06T9/005 ,  H04N19/129 ,  H04N19/13 ,  H04N19/132 ,  H04N19/136 ,  H04N19/15 ,  H04N19/152 ,  H04N19/162 ,  H04N19/172 ,  H04N19/176 ,  H04N19/40 ,  H04N19/44 ,  H04N19/46 ,  H04N19/61 ,  H04N19/91

摘要： Techniques and tools for encoding and decoding a block of frequency coefficients are presented. An encoder selects a scan order from multiple available scan orders and then applies the selected scan order to a two-dimensional matrix of transform coefficients, grouping non-zero values of the frequency coefficients together in a one-dimensional string. The encoder entropy encodes the one-dimensional string of coefficient values according to a multi-level nested set representation. In decoding, a decoder entropy decodes the one-dimensional string of coefficient values from the multi-level nested set representation. The decoder selects the scan order from among multiple available scan orders and then reorders the coefficients back into a two-dimensional matrix using the selected scan order.

摘要翻译： 提出了用于编码和解码频率系数块的技术和工具。 编码器从多个可用扫描顺序中选择扫描顺序，然后将所选择的扫描顺序应用于变换系数的二维矩阵，将频率系数的非零值在一维串中分组。 编码器根据多级嵌套集合表示对一维系列值串进行编码。 在解码中，解码器熵从多级嵌套集合表示解码系数值的一维串。 解码器从多个可用扫描顺序中选择扫描顺序，然后使用所选择的扫描顺序将系数重新排序成二维矩阵。

公开(公告)号：US08897359B2

公开(公告)日：2014-11-25

申请号：US12156864

申请日：2008-06-03

申请人： Shankar Regunathan ,  Shijun Sun ,  Chengjie Tu ,  Chih-Lung Lin

发明人： Shankar Regunathan ,  Shijun Sun ,  Chengjie Tu ,  Chih-Lung Lin

IPC分类号： H04N7/12 ,  H04N19/187 ,  H04N19/61 ,  H04N19/34 ,  H04N19/186 ,  H04N19/196 ,  H04N19/176 ,  H04N19/172 ,  H04N19/463 ,  H04N19/46 ,  H04N19/124

CPC分类号： H04N19/126 ,  H04N19/124 ,  H04N19/172 ,  H04N19/176 ,  H04N19/184 ,  H04N19/186 ,  H04N19/187 ,  H04N19/196 ,  H04N19/197 ,  H04N19/34 ,  H04N19/46 ,  H04N19/463 ,  H04N19/593 ,  H04N19/61 ,  H04N19/70

摘要： Techniques and tools for encoding enhancement layer video with quantization that varies spatially and/or between color channels are presented, along with corresponding decoding techniques and tools. For example, an encoding tool determines whether quantization varies spatially over a picture, and the tool also determines whether quantization varies between color channels in the picture. The tool signals quantization parameters for macroblocks in the picture in an encoded bit stream. In some implementations, to signal the quantization parameters, the tool predicts the quantization parameters, and the quantization parameters are signaled with reference to the predicted quantization parameters. A decoding tool receives the encoded bit stream, predicts the quantization parameters, and uses the signaled information to determine the quantization parameters for the macroblocks of the enhancement layer video. The decoding tool performs inverse quantization that can vary spatially and/or between color channels.

摘要翻译： 提出了用于在空间上和/或颜色通道之间变化的具有量化的增强层视频编码的技术和工具，以及相应的解码技术和工具。 例如，编码工具确定量化是否在图像上空间上变化，并且该工具还确定量化是否在图像中的颜色通道之间变化。 该工具在编码比特流中针对图像中的宏块发送量化参数。 在一些实现中，为了发信号通知量化参数，该工具预测量化参数，参考预测量化参数来发信号通知量化参数。 解码工具接收编码比特流，预测量化参数，并使用信号信息确定增强层视频的宏块的量化参数。 解码工具执行在空间上和/或颜色通道之间变化的逆量化。

公开(公告)号：US09172965B2

公开(公告)日：2015-10-27

申请号：US13458774

申请日：2012-04-27

申请人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

发明人： Chengjie Tu ,  Shankar Regunathan ,  Shijun Sun ,  Chih-Lung Lin

IPC分类号： H04N7/12 ,  H04N19/174 ,  H04N19/61 ,  H04N19/00 ,  H04N19/40 ,  H04N19/176 ,  H04N19/102 ,  H04N19/172 ,  H04N19/46 ,  H04N19/13 ,  H04N19/15 ,  H04N19/129 ,  H04N19/91 ,  H04N19/136 ,  H04N19/152 ,  H04N19/162 ,  G06T9/00

CPC分类号： H04N19/174 ,  G06T9/005 ,  H04N19/129 ,  H04N19/13 ,  H04N19/132 ,  H04N19/136 ,  H04N19/15 ,  H04N19/152 ,  H04N19/162 ,  H04N19/172 ,  H04N19/176 ,  H04N19/40 ,  H04N19/44 ,  H04N19/46 ,  H04N19/61 ,  H04N19/91

摘要： Techniques and tools for encoding and decoding a block of frequency coefficients are presented. An encoder selects a scan order from multiple available scan orders and then applies the selected scan order to a two-dimensional matrix of transform coefficients, grouping non-zero values of the frequency coefficients together in a one-dimensional string. The encoder entropy encodes the one-dimensional string of coefficient values according to a multi-level nested set representation. In decoding, a decoder entropy decodes the one-dimensional string of coefficient values from the multi-level nested set representation. The decoder selects the scan order from among multiple available scan orders and then reorders the coefficients back into a two-dimensional matrix using the selected scan order.