公开(公告)号：US08559501B2

公开(公告)日：2013-10-15

申请号：US12308136

申请日：2006-06-09

申请人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

发明人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

IPC分类号： H04N7/12

CPC分类号： H04N19/194 ,  H04N19/103 ,  H04N19/107 ,  H04N19/115 ,  H04N19/124 ,  H04N19/14 ,  H04N19/149 ,  H04N19/15 ,  H04N19/152 ,  H04N19/159 ,  H04N19/164 ,  H04N19/172 ,  H04N19/176 ,  H04N19/177 ,  H04N19/61

摘要： When for video coding Intra refresh is used, which inserts Intra coded blocks into previously Inter coded pictures, an efficiently adapted rate control method is required for error resilient video coding. A method for adaptively determining a bit budget for encoding video pictures comprises pre-analyzing each of the pictures of a group of pictures, wherein a relative complexity index is calculated for each picture, allocating bits to the pictures based on their relative complexity index and encoding each of the pictures with the allocated number of bits. The pre-analysis comprises selecting pictures for Intra refresh coding, extracting attention area information from the selected pictures, encoding at least the macroblocks of the attention area using Intra mode, calculating for each picture a complexity index, and calculating from the complexity indices of the pictures of the group a relative complexity index for each picture. Thus, a subjectively better video quality is achieved.

摘要翻译： 当用于视频编码时，使用内部刷新，其将内部编码块插入到先前的帧间编码图像中，对于错误弹性视频编码需要有效地适应的速率控制方法。 一种用于自适应地确定用于编码视频图像的比特预算的方法包括对一组图像的每个图像进行预分析，其中针对每个图像计算相对复杂度指数，并且基于它们的相对复杂度索引和编码将比特分配给图像 每个图片分配的位数。 预分析包括选择帧内刷新编码的图像，从所选择的图像中提取注意区域信息，至少使用内部模式对关注区域的宏块进行编码，针对每个图像计算复杂度指数，以及根据 组图片为每幅图片的相对复杂性指数。 因此，实现主观上更好的视频质量。

公开(公告)号：US08447123B2

公开(公告)日：2013-05-21

申请号：US12450869

申请日：2007-04-20

申请人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

发明人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

IPC分类号： G06K9/36

CPC分类号： H04N19/93 ,  H04N19/102 ,  H04N19/12 ,  H04N19/14 ,  H04N19/176 ,  H04N19/61 ,  H04N19/91

摘要： International image or video coding standards uses hybrid coding, wherein a picture is separated into pixel blocks on which predictive coding, transform coding and entropy coding is employed. The transform coding is effective because the prediction error samples are correlated in the frequency domain. However, when the prediction quality is getting better and better, spatial domain coding becomes more effective than transform coding. According to the invention, it is first determined in which corner of a current block the first non-zero amplitude value is located. Based on the related zeros run length value in that block, a pre-defined scan path is selected, i.e. a context-based adaptive scan mode is used.

摘要翻译： 国际图像或视频编码标准使用混合编码，其中将图像分成使用预测编码，变换编码和熵编码的像素块。 变换编码是有效的，因为预测误差样本在频域上是相关的。 然而，当预测质量越来越好时，空间域编码变得比变换编码更有效。 根据本发明，首先确定当前块的哪一个角位于第一非零振幅值。 基于该块中相关的零运行长度值，选择预定义的扫描路径，即使用基于上下文的自适应扫描模式。

公开(公告)号：US20100040298A1

公开(公告)日：2010-02-18

申请号：US12450869

申请日：2007-04-20

申请人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

发明人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

IPC分类号： G06K9/46 ,  G06K9/36

CPC分类号： H04N19/93 ,  H04N19/102 ,  H04N19/12 ,  H04N19/14 ,  H04N19/176 ,  H04N19/61 ,  H04N19/91

摘要： International image or video coding standards uses hybrid coding, wherein a picture is separated into pixel blocks on which predictive coding, transform coding and entropy coding is employed. The transform coding is effective because the prediction error samples are correlated in the frequency domain. However, when the prediction quality is getting better and better, spatial domain coding becomes more effective than transform coding. According to the invention, it is first determined in which corner of a current block the first non-zero amplitude value is located. Based on the related zeros run length value in that block, a pre-defined scan path is selected, i.e. a context-based adaptive scan mode is used.

摘要翻译： 国际图像或视频编码标准使用混合编码，其中将图像分成使用预测编码，变换编码和熵编码的像素块。 变换编码是有效的，因为预测误差样本在频域上是相关的。 然而，当预测质量越来越好时，空间域编码变得比变换编码更有效。 根据本发明，首先确定当前块的哪一个角位于第一非零振幅值。 基于该块中相关的零运行长度值，选择预定义的扫描路径，即使用基于上下文的自适应扫描模式。

公开(公告)号：US08385654B2

公开(公告)日：2013-02-26

申请号：US12226386

申请日：2007-04-27

申请人： Xiao Dong Gu ,  Zhi Bo Chen ,  Qu Qing Chen

发明人： Xiao Dong Gu ,  Zhi Bo Chen ,  Qu Qing Chen

IPC分类号： G06K9/46 ,  G06K9/34 ,  G06K9/00

CPC分类号： G06K9/4671 ,  G06K9/4628 ,  G06T7/11

摘要： The present invention provides a salience estimation method for object-based visual attention model. The method comprises steps of segmenting the image into a plurality of objects to be estimated, extracting feature maps for each segmented object, calculating the saliences of each segmented object in a set of circles defined around a center pixel of the object based on the extracted feature maps, and integrating the saliences of each segmented object in all circles in order to achieve an overall salience estimation for each segmented object. The present invention is much more human vision inosculated and of low computing complexity.

摘要翻译： 本发明提供了一种用于基于对象的视觉注意力模型的显着性估计方法。 该方法包括以下步骤：将图像分割成要估计的多个对象，提取每个分割对象的特征图，基于所提取的特征来计算围绕对象的中心像素定义的一组圆圈中的每个分割对象的色调 映射，以及将所有分段对象的细节整合到所有圆形中，以实现对每个分段对象的整体显着性估计。 本发明是更加人性化的视觉和低计算复杂性。

公开(公告)号：US08179961B2

公开(公告)日：2012-05-15

申请号：US12309336

申请日：2006-07-17

申请人： Zhi Bo Chen ,  Xiao Dong Gu ,  Li Hua Zhu ,  Qu Qing Chen

发明人： Zhi Bo Chen ,  Xiao Dong Gu ,  Li Hua Zhu ,  Qu Qing Chen

IPC分类号： H04N7/26 ,  H04N11/04

CPC分类号： H04N19/577 ,  H04N19/115 ,  H04N19/142 ,  H04N19/152 ,  H04N19/17 ,  H04N19/179 ,  H04N19/61 ,  H04N19/87

摘要： The frame following a scene cut is usually coded as an I picture. In CBR encoding, the encoder will try to keep the bit rate constant, which will often cause serious picture quality degradation at scene changes. In VBR encoding, more bits will be allocated to the first frame of the new scene and the bit rate will increase significantly for a short time. Therefore subsequent frames must be coded in ‘skipped’ mode, which will often cause jerk artifacts. According to the invention, in each frame belonging to a scene change period, areas are determined that have different human attention levels. In the frames (n−1, n−2, n−3) located prior to the first new scene frame, to the areas having a lower attention level less bits are assigned than in the default encoding, and in the frames (n, n+1, n+2) located at and after the scene cut the thus saved bits are additionally assigned to the areas having a higher attention level.

摘要翻译： 场景切割后的帧通常被编码为I图像。 在CBR编码中，编码器将尝试保持比特率恒定，这将导致场景变化导致严重的图像质量下降。 在VBR编码中，更多位将被分配给新场景的第一帧，并且比特率将在短时间内显着增加。 因此，后续帧必须以“跳过”模式进行编码，这通常会引起抖动伪像。 根据本发明，在属于场景变化期间的每个帧中，确定具有不同人的注意力水平的区域。 在位于第一新场景帧之前的帧（n-1，n-2，n-3）中，对于具有较低注意力级别的区域，比在默认编码中分配较少的位，并且在帧（n， n + 1，n + 2）被分配给具有较高关注度的区域。

公开(公告)号：US20100183069A1

公开(公告)日：2010-07-22

申请号：US12224080

申请日：2007-02-16

申请人： Zhi Bo Chen ,  Xiao Dong Gu ,  Qu Qing Chen

发明人： Zhi Bo Chen ,  Xiao Dong Gu ,  Qu Qing Chen

IPC分类号： H04N7/12

CPC分类号： H04N19/192 ,  H04N19/124 ,  H04N19/147 ,  H04N19/149 ,  H04N19/17 ,  H04N19/176 ,  H04N19/19 ,  H04N19/61

摘要： Optimised bit allocation is important in video compression to increase the coding efficiency, i.e. to make optimum use of the available data rate. In view of the human visual system, a human usually pays more attention to some part of a picture rather than to other parts of that picture. Therefore the bit allocation should be optimised for different-attention picture areas (GOBi). The inventive distortion-driven bit allocation scheme allocates the coding/decoding error distortion to picture areas consistently with the human visual system, and satisfies the constraint of bit rate as well. The invention uses a distortion/bitrate/rhoquantisation parameter histogram analysis. Based on corresponding tables (DGOBi[QPn], RGOBi[QPn] and ρGOBi[QPn]), the relationships between quantisation parameter, rate, distortion and percentage of non-zero coefficients for the different-attention areas are determined (PREALUTI, DISALL, RALL). Thereafter a rho-domain bit rate control is used (RDBALL) for calculating the bit allocation inside each group of macroblocks.

摘要翻译： 优化的比特分配在视频压缩中是重要的，以增加编码效率，即最佳地利用可用的数据速率。 鉴于人类视觉系统，人类通常会更多地关注图片的某些部分，而不是照片的其他部分。 因此，应该针对不同的注意图像区域（GOBi）优化位分配。 本发明的失真驱动比特分配方案将编码/解码误差失真与人类视觉系统一致地分配给图像区域，并且也满足比特率的约束。 本发明使用失真/比特率/量化参数直方图分析。 基于相应的表（DGOBi [QPn]，RGOBi [QPn]和＆rgr; GOBi [QPn]），确定不同注意区域的量化参数，速率，失真和非零系数百分比之间的关系（PREALUTI， DISALL，RALL）。 此后，使用rho域比特率控制（RDBALL）来计算每组宏块内的比特分配。

公开(公告)号：US20090060267A1

公开(公告)日：2009-03-05

申请号：US12226386

申请日：2007-04-27

申请人： Xiao Dong Gu ,  Zhi Bo Chen ,  Qu Qing Chen

发明人： Xiao Dong Gu ,  Zhi Bo Chen ,  Qu Qing Chen

IPC分类号： G06K9/00

CPC分类号： G06K9/4671 ,  G06K9/4628 ,  G06T7/11

摘要： The present invention provides a salience estimation method for object-based visual attention model. The method comprises steps of segmenting the image into a plurality of objects to be estimated, extracting feature maps for each segmented object, calculating the saliences of each segmented object in a set of circles defined around a centre pixel of the object based on the extracted feature maps, and integrating the saliences of each segmented object in all circles in order to achieve an overall salience estimation for each segmented object. The present invention is much more human vision inosculated and of low computing complexity.

摘要翻译： 本发明提供了一种用于基于对象的视觉注意力模型的显着性估计方法。 该方法包括以下步骤：将图像分割成要估计的多个对象，提取每个分割对象的特征图，基于所提取的特征来计算围绕对象的中心像素定义的一组圆圈中的每个分割对象的色调 映射，以及将所有分段对象的细节整合到所有圆形中，以实现对每个分段对象的整体显着性估计。 本发明是更加人性化的视觉和低计算复杂性。

公开(公告)号：US08605113B2

公开(公告)日：2013-12-10

申请号：US12310461

申请日：2007-09-03

申请人： Zhi Bo Chen ,  Xiao Dong Gu ,  Qu Qing Chen

发明人： Zhi Bo Chen ,  Xiao Dong Gu ,  Qu Qing Chen

IPC分类号： G09G5/00

CPC分类号： G06T3/4092 ,  G06F17/30905 ,  G11B27/034 ,  G11B27/105 ,  G11B27/28 ,  H04N19/46

摘要： An adaptive video presentation method for automatically presenting a video with stream-embed information based on content analysis of the video on a smaller display with a limited screen size is provided. The method comprises steps of determining a salient object group containing at least one salient object based on perceptual interest value of macroblocks for each frame of said video, extracting a window having a minimum size containing the salient object group for a scene of the video, characterized in that it further comprises steps of comparing size of the extracted window with the smaller display size; and presenting at least a selected area of the extracted window containing at least a part of the salient object group for the scene on the smaller display in different operation modes based on the result of the comparison steps for different motion mode for the scene of the video.

摘要翻译： 提供了一种适应性视频呈现方法，用于在具有有限屏幕尺寸的较小显示器上基于视频的内容分析自动呈现具有流嵌入信息的视频。 该方法包括以下步骤：基于所述视频的每个帧的宏块的感知兴趣值来确定包含至少一个显着对象的显着对象组，提取具有包含视频场景的显着对象组的最小尺寸的窗口， 其特征在于，还包括步骤：将所提取的窗口的大小与较小的显示尺寸进行比较; 并且基于用于视频场景的不同运动模式的比较步骤的结果，在不同的操作模式中呈现至少包含提取的窗口的至少一部分用于场景的显着对象组的选定区域 。

公开(公告)号：US08457468B2

公开(公告)日：2013-06-04

申请号：US12450873

申请日：2007-04-20

申请人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

发明人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

IPC分类号： H04N9/80 ,  H04N5/92

CPC分类号： G06F17/30858 ,  H04N19/00 ,  H04N19/70 ,  H04N21/23892 ,  H04N21/44008 ,  H04N21/84 ,  H04N21/8451

摘要： The invention concerns a method for embedding video annotation data into a coded video stream. The method comprises the step of —encapsulating said video annotation data into a unit, so-called video annotation unit, of the coded video data stream which format corresponds to at least one format used for sending the associated video data, —inserting an identifiable synchronizing code enabling the identification of said video annotation unit into the video data stream.

摘要翻译： 本发明涉及一种将视频注释数据嵌入到编码视频流中的方法。 该方法包括以下步骤：将所述视频注释数据封装成编码视频数据流的单位即所谓的视频注释单元，该格式对应于用于发送相关视频数据的至少一种格式， - 插入可识别的同步 能够将所述视频注释单元识别为视频数据流的代码。

公开(公告)号：US20090279603A1

公开(公告)日：2009-11-12

申请号：US12308136

申请日：2006-06-09

申请人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

发明人： Qu Qing Chen ,  Zhi Bo Chen ,  Xiao Dong Gu

IPC分类号： H04N7/26

CPC分类号： H04N19/194 ,  H04N19/103 ,  H04N19/107 ,  H04N19/115 ,  H04N19/124 ,  H04N19/14 ,  H04N19/149 ,  H04N19/15 ,  H04N19/152 ,  H04N19/159 ,  H04N19/164 ,  H04N19/172 ,  H04N19/176 ,  H04N19/177 ,  H04N19/61

摘要： When for video coding Intra refresh is used, which inserts Intra coded blocks into previously Inter coded pictures, an efficiently adapted rate control method is required for error resilient video coding. A method for adaptively determining a bit budget for encoding video pictures comprises pre-analyzing each of the pictures of a group of pictures, wherein a relative complexity index is calculated for each picture, allocating bits to the pictures based on their relative complexity index and encoding each of the pictures with the allocated number of bits. The pre-analysis comprises selecting pictures for Intra refresh coding, extracting attention area information from the selected pictures, encoding at least the macroblocks of the attention area using Intra mode, calculating for each picture a complexity index, and calculating from the complexity indices of the pictures of the group a relative complexity index for each picture. Thus, a subjectively better video quality is achieved.

摘要翻译： 当用于视频编码时，使用内部刷新，其将内部编码块插入到先前的帧间编码图像中，对于错误弹性视频编码需要有效地适应的速率控制方法。 一种用于自适应地确定用于编码视频图像的比特预算的方法包括对一组图像的每个图像进行预分析，其中针对每个图像计算相对复杂度指数，并且基于它们的相对复杂度索引和编码将比特分配给图像 每个图片分配的位数。 预分析包括选择帧内刷新编码的图像，从所选择的图像中提取注意区域信息，至少使用内部模式对关注区域的宏块进行编码，针对每个图像计算复杂度指数，以及根据 组图片为每幅图片的相对复杂性指数。 因此，实现主观上更好的视频质量。