公开(公告)号：US20080240607A1

公开(公告)日：2008-10-02

申请号：US11961752

申请日：2007-12-20

申请人： Jian Sun ,  Heung-Yeung Shum

发明人： Jian Sun ,  Heung-Yeung Shum

IPC分类号： G06K9/40

CPC分类号： G06T5/003 ,  G06T5/50

摘要： Image deblurring with blurred/noisy image pairs is described. In one implementation, a system combines a blurred image with a corresponding noisy image of the same subject to create a high-quality deblurred image. The blurred/noisy image pair can be acquired by an inexpensive hand-held camera, e.g., in unfavorable low light conditions. An exemplary iterative process uses the blurred image and the noisy image at each step to produce the high-quality image. First, the system estimates the blur kernel of the blurred image using information from both the blurred and noisy images. Then, the system performs residual image deconvolution, which favors suppression of ringing artifacts. Finally, the system applies gain-controlled deconvolution to suppress remaining ringing artifacts in smooth image regions. The system iterates these steps to obtain the final high-quality image.

摘要翻译： 描述了具有模糊/噪声图像对的图像去模糊。 在一个实现中，系统将模糊图像与相同对象的对应噪声图像相结合，以创建高质量的去模糊图像。 模糊/嘈杂的图像对可以由便宜的手持相机获取，例如在不利的低光条件下。 示例性迭代过程在每个步骤使用模糊图像和噪声图像来产生高质量图像。 首先，系统使用来自模糊和嘈杂图像的信息来估计模糊图像的模糊内核。 然后，系统执行残差图像去卷积，有利于抑制振铃伪像。 最后，系统采用增益控制去卷积来抑制平滑图像区域中的剩余振铃伪像。 系统迭代这些步骤以获得最终的高质量图像。

公开(公告)号：US07317843B2

公开(公告)日：2008-01-08

申请号：US10817633

申请日：2004-04-01

申请人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

IPC分类号： G06K9/40 ,  G06K9/00

CPC分类号： G06T5/40 ,  G06T5/009 ,  G06T5/50 ,  G06T2207/10024 ,  G06T2207/10144 ,  H04N5/217 ,  H04N5/23229 ,  H04N5/2355 ,  H04N5/35581

摘要： Techniques are disclosed to improve quality of images that may be blurred or underexposed. In one described implementation, a method includes providing two images of a same scene. The method determines a spatial coherence and color statistics of the two images. The determined color statistics and spatial coherence are utilized to enhance one of the two images.

摘要翻译： 公开了提高可能模糊或曝光不足的图像质量的技术。 在一个描述的实现中，一种方法包括提供相同场景的两个图像。 该方法确定两个图像的空间相干性和颜色统计。 使用确定的颜色统计和空间相干性来增强两个图像之一。

公开(公告)号：US20070133880A1

公开(公告)日：2007-06-14

申请号：US11469371

申请日：2006-08-31

申请人： Jian Sun ,  Heung-Yeung Shum ,  Xiaoou Tang ,  Weiwei Zhang

发明人： Jian Sun ,  Heung-Yeung Shum ,  Xiaoou Tang ,  Weiwei Zhang

IPC分类号： G06K9/46

CPC分类号： G06K9/38 ,  G06T7/11 ,  G06T7/90 ,  G06T2207/10016

摘要： Exemplary systems and methods segment a foreground from a background image in a video sequence. In one implementation, a system refines a segmentation boundary between the foreground and the background image by attenuating background contrast while preserving contrast of the segmentation boundary itself, providing an accurate background cut of live video in real time. A substitute background may then be merged with the segmented foreground within the live video. The system can apply an adaptive background color mixture model to improve segmentation of foreground from background under various background changes, such as camera movement, illumination change, and movement of small objects in the background.

摘要翻译： 示例性系统和方法从视频序列中的背景图像分割前景。 在一个实现中，系统通过衰减背景对比度同时保留分割边界本身的对比度来优化前景和背景图像之间的分割边界，从而实时提供实况视频的精确背景截图。 然后可以将替代背景与实时视频中的分段前景合并。 该系统可以应用自适应背景颜色混合模型，从而在各种背景变化（例如相机移动，照明变化和背景中的小物体的移动）下改进背景的前景分割。

公开(公告)号：US20050220359A1

公开(公告)日：2005-10-06

申请号：US10817633

申请日：2004-04-01

申请人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

IPC分类号： G06T1/00 ,  G06T5/00 ,  G06T5/40 ,  G06T5/50 ,  H04N1/407 ,  H04N1/46 ,  H04N1/60 ,  G06K9/00 ,  G06K9/40

CPC分类号： G06T5/40 ,  G06T5/009 ,  G06T5/50 ,  G06T2207/10024 ,  G06T2207/10144 ,  H04N5/217 ,  H04N5/23229 ,  H04N5/2355 ,  H04N5/35581

摘要： Techniques are disclosed to improve quality of images that may be blurred or underexposed. In one described implementation, a method includes providing two images of a same scene. The method determines a spatial coherence and color statistics of the two images. The determined color statistics and spatial coherence are utilized to enhance one of the two images.

摘要翻译： 公开了提高可能模糊或曝光不足的图像质量的技术。 在一个描述的实现中，一种方法包括提供相同场景的两个图像。 该方法确定两个图像的空间相干性和颜色统计。 使用确定的颜色统计和空间相干性来增强两个图像之一。

公开(公告)号：US08184926B2

公开(公告)日：2012-05-22

申请号：US11961752

申请日：2007-12-20

申请人： Jian Sun ,  Heung-Yeung Shum

发明人： Jian Sun ,  Heung-Yeung Shum

IPC分类号： G06K9/40 ,  G06K9/36 ,  H04N9/74 ,  G09G5/00

CPC分类号： G06T5/003 ,  G06T5/50

摘要： Image deblurring with blurred/noisy image pairs is described. In one implementation, a system combines a blurred image with a corresponding noisy image of the same subject to create a high-quality deblurred image. The blurred/noisy image pair can be acquired by an inexpensive hand-held camera, e.g., in unfavorable low light conditions. An exemplary iterative process uses the blurred image and the noisy image at each step to produce the high-quality image. First, the system estimates the blur kernel of the blurred image using information from both the blurred and noisy images. Then, the system performs residual image deconvolution, which favors suppression of ringing artifacts. Finally, the system applies gain-controlled deconvolution to suppress remaining ringing artifacts in smooth image regions. The system iterates these steps to obtain the final high-quality image.

摘要翻译： 描述了具有模糊/噪声图像对的图像去模糊。 在一个实现中，系统将模糊图像与相同对象的对应噪声图像相结合，以创建高质量的去模糊图像。 模糊/嘈杂的图像对可以由便宜的手持相机获取，例如在不利的低光条件下。 示例性迭代过程在每个步骤使用模糊图像和噪声图像来产生高质量图像。 首先，系统使用来自模糊和嘈杂图像的信息来估计模糊图像的模糊内核。 然后，系统执行残差图像去卷积，有利于抑制振铃伪像。 最后，系统采用增益控制去卷积来抑制平滑图像区域中的剩余振铃伪像。 系统迭代这些步骤以获得最终的高质量图像。

公开(公告)号：US08026931B2

公开(公告)日：2011-09-27

申请号：US11467859

申请日：2006-08-28

申请人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G09G5/00 ,  G06K9/34

CPC分类号： G06T11/00

摘要： Digital video effects are described. In one aspect, a foreground object in a video stream is identified. The video stream comprises multiple image frames. The foreground object is modified by rendering a 3-dimensional (3-D) visual feature over the foreground object for presentation to a user in a modified video stream. Pose of the foreground object is tracked in 3-D space across respective ones of the image frames to identify when the foreground object changes position in respective ones of the image frames. Based on this pose tracking, aspect ratio of the 3-D visual feature is adaptively modified and rendered over the foreground object in corresponding image frames for presentation to the user in the modified video stream.

摘要翻译： 描述数字视频效果。 在一个方面，识别视频流中的前景对象。 视频流包括多个图像帧。 通过在前景对象上呈现三维（3-D）视觉特征来修改前景对象，以呈现给经修改的视频流中的用户。 前景物体的姿态在相应的图像帧中的3-D空间中被跟​​踪，以识别前景对象何时改变相应图像帧中的位置。 基于这种姿态跟踪，3-D视觉特征的宽高比被自适应地修改并在相应图像帧中的前景对象上呈现，以便在修改的视频流中呈现给用户。

公开(公告)号：US07817822B2

公开(公告)日：2010-10-19

申请号：US11380635

申请日：2006-04-27

申请人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G06K9/00

CPC分类号： G06K9/3241 ,  G06K9/32 ,  G06T7/277

摘要： The present video tracking technique outputs a Maximum A Posterior (MAP) solution for a target object based on two object templates obtained from a start and an end keyframe of a whole state sequence. The technique first minimizes the whole state space of the sequence by generating a sparse set of local two-dimensional modes in each frame of the sequence. The two-dimensional modes are converted into three-dimensional points within a three-dimensional volume. The three-dimensional points are clustered using a spectral clustering technique where each cluster corresponds to a possible trajectory segment of the target object. If there is occlusion in the sequence, occlusion segments are generated so that an optimal trajectory of the target object can be obtained.

摘要翻译： 本视频跟踪技术基于从整个状态序列的开始和结束关键帧获得的两个对象模板，为目标对象输出最大A后验（MAP）解决方案。 该技术首先通过在序列的每个帧中生成稀疏的局部二维模式集来最小化序列的整个状态空间。 二维模式在三维体积内被转换成三维点。 使用光谱聚类技术对三维点进行聚类，其中每个聚类对应于目标对象的可能的轨迹段。 如果序列中存在闭塞，则生成闭塞段，从而可以获得目标对象的最佳轨迹。

公开(公告)号：US07636128B2

公开(公告)日：2009-12-22

申请号：US11183226

申请日：2005-07-15

申请人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

IPC分类号： H04N9/74 ,  H04N9/76

CPC分类号： G06T7/12 ,  G06T7/194 ,  G06T2207/20092

摘要： An exemplary method includes receiving a trimap for an image that specifies a background region, a foreground region and an unknown region for the image wherein a boundary exists between the foreground region and the unknown region and wherein another boundary exists between the unknown region and the background region, solving a set of Poisson equations having boundary conditions for the two boundaries to provide a matte that distinguishes a foreground region from a background region in the unknown region, and refining the matte by solving a set of Poisson equations for a local unknown region. Various other exemplary technologies are also presented.

摘要翻译： 一种示例性方法包括：接收用于图像的微调，该图像指定用于图像的背景区域，前景区域和未知区域，其中在前景区域和未知区域之间存在边界，并且其中在未知区域和背景之间存在另一边界 区域，求解一组具有两个边界的边界条件的泊松方程，以提供区分未知区域中的前景区域和背景区域的无光泽，以及通过求解一组局部未知区域的泊松方程来改善无光泽。 还提出了各种其它示例性技术。

公开(公告)号：US20080198175A1

公开(公告)日：2008-08-21

申请号：US11676806

申请日：2007-02-20

申请人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

IPC分类号： G06T1/00

CPC分类号： H04N1/3876 ,  G06T7/12 ,  G06T7/162 ,  G06T7/194 ,  G06T11/60 ,  G06T2207/10024 ,  G06T2207/20096

摘要： Systems and methods provide drag-and-drop pasting for seamless image composition. In one implementation, a user casually outlines a region of a source image that contains a visual object to be pasted into a target image. An exemplary system automatically calculates a new boundary within this region, such that when pasted at this boundary, visual seams are minimized. The system applies a shortest path calculation to find the optimal pasting boundary. The best path has minimal color variation along its length, thus avoiding structure and visual objects in the target image and providing the best chance for seamlessness. Poisson image editing is applied across this optimized boundary to blend colors. When the visual object being pasted has fine structure at its border that could be truncated by the Poisson editing, the exemplary system integrates the alpha matte of the visual object into the Poisson equations to protect the fine structure.

摘要翻译： 系统和方法为无缝图像组合提供拖放粘贴。 在一个实现中，用户随意地概括了包含要粘贴到目标图像中的视觉对象的源图像的区域。 示例性系统自动计算该区域内的新边界，使得当粘贴在该边界处时，视觉接缝被最小化。 系统应用最短路径计算来找到最佳粘贴边界。 最佳路径沿其长度具有最小的颜色变化，从而避免了目标图像中的结构和视觉对象，并提供了无缝隙的最佳机会。 Poisson图像编辑应用于这个优化的边界以混合颜色。 当粘贴的视觉对象在其边界处具有可被泊松编辑截断的精细结构时，示例性系统将视觉对象的α无光泽整合到泊松方程中以保护精细结构。

公开(公告)号：US20050220355A1

公开(公告)日：2005-10-06

申请号：US10817471

申请日：2004-04-01

申请人： Jian Sun ,  Heung-Yeung Shum ,  Hai Tao

发明人： Jian Sun ,  Heung-Yeung Shum ,  Hai Tao

IPC分类号： G06K9/40 ,  G06T5/50

CPC分类号： G06T3/4007

摘要： Techniques are disclosed to enable generation of a high-resolution image from any generic low-resolution image. In one described implementation, a method includes extracting, at a training phase, a plurality of primal sketch priors from training data. At a synthesis phase, the plurality of primal sketch priors are utilized to improve a low-resolution image by replacing one or more low-frequency primitives extracted from the low-resolution image with corresponding ones of the plurality of primal sketch priors.

摘要翻译： 公开了技术以使得能够从任何通用的低分辨率图像生成高分辨率图像。 在一个描述的实现中，一种方法包括在训练阶段从训练数据中提取多个原始草图先验。 在合成阶段，利用多个原始草图优先级，通过将从低分辨率图像提取的一个或多个低频原语替换为多个原始素描先验中的相应图像，来利用低分辨率图像来改善低分辨率图像。