公开(公告)号：US20060285762A1

公开(公告)日：2006-12-21

申请号：US11158113

申请日：2005-06-21

申请人： Jian Sun ,  Heung-Yeung Shum

发明人： Jian Sun ,  Heung-Yeung Shum

IPC分类号： G06K9/40

CPC分类号： G06T5/005

摘要： Image completion with structure propagation is described. In one aspect, synthesized patches for an unknown region in an input image are automatically generated. The synthesized patches are generated from a known region in the input image based on information from one or more curves. The one or more curves were generated to provide missing structure to the unknown region. Structure is propagated to the unknown region with the synthesized patches.

公开(公告)号：US20050219264A1

公开(公告)日：2005-10-06

申请号：US10817516

申请日：2004-04-01

申请人： Heung-Yeung Shum ,  Jian Sun ,  Shuntaro Yamazaki ,  Yin Li

发明人： Heung-Yeung Shum ,  Jian Sun ,  Shuntaro Yamazaki ,  Yin Li

IPC分类号： G06K9/00 ,  G06T15/20 ,  G09G5/00

CPC分类号： G06T15/205

摘要： Techniques are disclosed to produce virtual views of a complex scene. The virtual views are substantially free from aliasing even when using a relatively sparse set of images of the scene. In a described implementation, a scene is split into one or more coherent layers. The boundaries of the coherent layers are propagated across a plurality of frames corresponding to the scene. The splitting may be further refined (e.g., in accordance with user feedback) to present a virtual view of the scene.

摘要翻译： 公开了产生复杂场景的虚拟视图的技术。 即使当使用场景的相对稀疏的图像集时，虚拟视图也基本上没有混叠。 在所描述的实现中，场景被分成一个或多个相干层。 相干层的边界跨越对应于场景的多个帧传播。 可以进一步改进分割（例如，根据用户反馈）来呈现场景的虚拟视图。

公开(公告)号：US08351713B2

公开(公告)日：2013-01-08

申请号：US11676806

申请日：2007-02-20

申请人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

IPC分类号： G06K9/36

CPC分类号： H04N1/3876 ,  G06T7/12 ,  G06T7/162 ,  G06T7/194 ,  G06T11/60 ,  G06T2207/10024 ,  G06T2207/20096

摘要： Systems and methods provide drag-and-drop pasting for seamless image composition. In one implementation, a user casually outlines a region of a source image that contains a visual object to be pasted into a target image. An exemplary system automatically calculates a new boundary within this region, such that when pasted at this boundary, visual seams are minimized. The system applies a shortest path calculation to find the optimal pasting boundary. The best path has minimal color variation along its length, thus avoiding structure and visual objects in the target image and providing the best chance for seamlessness. Poisson image editing is applied across this optimized boundary to blend colors. When the visual object being pasted has fine structure at its border that could be truncated by the Poisson editing, the exemplary system integrates the alpha matte of the visual object into the Poisson equations to protect the fine structure.

摘要翻译： 系统和方法为无缝图像组合提供拖放粘贴。 在一个实现中，用户随意地概括了包含要粘贴到目标图像中的视觉对象的源图像的区域。 示例性系统自动计算该区域内的新边界，使得当粘贴在该边界处时，视觉接缝被最小化。 系统应用最短路径计算来找到最佳粘贴边界。 最佳路径沿其长度具有最小的颜色变化，从而避免了目标图像中的结构和视觉对象，并提供了无缝隙的最佳机会。 Poisson图像编辑应用于这个优化的边界以混合颜色。 当粘贴的视觉对象在其边界处具有可被泊松编辑截断的精细结构时，示例性系统将视觉对象的阿尔法无光泽整合到泊松方程中以保护精细结构。

公开(公告)号：US08238694B2

公开(公告)日：2012-08-07

申请号：US12245339

申请日：2008-10-03

申请人： Jian Sun ,  Heung-Yeung Shum

发明人： Jian Sun ,  Heung-Yeung Shum

IPC分类号： G06K9/32 ,  G06K9/40

CPC分类号： G06T7/35

摘要： The alignment of a sharp image of a subject and a blurred image of the same subject is disclosed. For example, one disclosed embodiment provides a method of determining a series of trial images. The method comprises applying a corresponding series of coordinate transforms to the sharp image, the series of coordinate transforms differing with respect to one or more of a rotational operation and a scaling operation. The method further comprises computing a series blur kernels corresponding to the series of trial images, each blur kernel mapping a trial image from the series of trial images to the blurred image. The method further includes locating a sparsest blur kernel in the series of blur kernels, and identifying one or more of the rotational operation and the scaling operation of the coordinate transform mapping the trial image corresponding to the sparsest blur kernel to the blurred image.

摘要翻译： 公开了对象的清晰图像与相同被摄体的模糊图像的对准。 例如，一个公开的实施例提供了确定一系列试验图像的方法。 该方法包括将相应的一系列坐标变换应用于锐利图像，所述一系列坐标变换相对于旋转操作和缩放操作中的一个或多个而不同。 该方法还包括计算与该系列试验图像相对应的一系列模糊粒子，每个模糊核心将来自一系列试验图像的试验图像映射到模糊图像。 该方法还包括将稀疏模糊核心定位在一系列模糊核心中，以及将映射与稀疏模糊核心的试用图像映射到模糊图像的坐标变换的旋转操作和缩放操作中的一个或多个。

公开(公告)号：US07724952B2

公开(公告)日：2010-05-25

申请号：US11434567

申请日：2006-05-15

申请人： Heung-Yeung Shum ,  Jian Sun ,  Sing Bing Kang ,  Yin Li

发明人： Heung-Yeung Shum ,  Jian Sun ,  Sing Bing Kang ,  Yin Li

IPC分类号： G06K9/34

CPC分类号： H04N5/275 ,  H04N5/2354

摘要： Foreground object matting uses flash/no-flash images pairs to obtain a flash-only image. A trimap is obtained from the flash-only image. A joint Bayesian algorithm uses the flash-only image, the trimap and one of the image of the scene taken without the flash or the image of the scene taken with the flash to generate a high quality matte that can be used to extract the foreground from the background.

摘要翻译： 前景对象消光使用闪光/非闪光图像对来获取闪光灯图像。 从闪光灯图像获得一个微调。 联合贝叶斯算法使用仅闪光图像，微调和没有闪光灯拍摄的场景中的一个图像或用闪光灯拍摄的场景的图像，以生成可用于从 的背景。

公开(公告)号：US20100085359A1

公开(公告)日：2010-04-08

申请号：US12245185

申请日：2008-10-03

申请人： Tai-Pang Wu ,  Jian Sun ,  Heung-Yeung Shum

发明人： Tai-Pang Wu ,  Jian Sun ,  Heung-Yeung Shum

IPC分类号： G06T15/60

CPC分类号： G06T15/00 ,  G06T7/50 ,  G06T2207/20092

摘要： The construction of a surface normal map from a single image is disclosed herein. One disclosed embodiment comprises determining an initial surface map comprising initial surface normals, and then receiving an input requesting manual modification of a set of normals in the initial surface map. Lastly, the set of surface normals is modified as requested by the input, to form the surface normal map.

摘要翻译： 本文公开了从单个图像构建表面法线贴图。 一个公开的实施例包括确定包括初始表面法线的初始表面图，然后接收在初始表面图中请求手动修改一组法线的输入。 最后，根据输入的要求修改表面法线的集合，形成表面法线贴图。

公开(公告)号：US20100074552A1

公开(公告)日：2010-03-25

申请号：US12237126

申请日：2008-09-24

申请人： Jian Sun ,  Heung-Yeung Shum ,  Lu Yuan ,  Long Quan

发明人： Jian Sun ,  Heung-Yeung Shum ,  Lu Yuan ,  Long Quan

IPC分类号： G06K9/40

CPC分类号： G06T5/003 ,  G06T2207/20016 ,  G06T2207/20028

摘要： Embodiments related to the removal of blur from an image are disclosed. One disclosed embodiment provides a method of performing an iterative non-blind deconvolution of a blurred image to form an updated image. The method comprises downsampling the blurred image to form a blurred image pyramid comprising images of two or more different resolution scales, downsampling a blur kernel to form a blur kernel pyramid comprising kernels of two or more different sizes, and deconvoluting a selected image in the blurred image pyramid according to a Richardson-Lucy deconvolution process in which a bilateral range/spatial filter is employed.

摘要翻译： 公开了从图像中去除模糊的实施例。 一个公开的实施例提供了一种执行模糊图像的迭代非盲去卷积以形成更新图像的方法。 该方法包括对模糊图像进行下采样以形成包含两个或多个不同分辨率尺度的图像的模糊图像金字塔，对模糊核心进行下采样以形成包含两个或更多个不同大小的粒子的模糊核心金字塔，并且对模糊的所选图像进行解卷积 图像金字塔根据理查森 - 露西反卷积过程，其中采用双边范围/空间滤波器。

公开(公告)号：US07599547B2

公开(公告)日：2009-10-06

申请号：US11289907

申请日：2005-11-30

申请人： Jian Sun ,  Yin Li ,  Sing Bing Kang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Yin Li ,  Sing Bing Kang ,  Heung-Yeung Shum

IPC分类号： G06K9/00 ,  G06T15/00 ,  G01C3/14

CPC分类号： G06K9/32

摘要： The present symmetric stereo matching technique provides a method for iteratively estimating a minimum energy for occlusion and disparity using belief propagation. The minimum energy is based on an energy minimization framework in which a visibility constraint is embedded. By embedding the visibility constraint, the present symmetric stereo matching technique treats both images equally, instead of treating one as a reference image. The visibility constraint ensures that occlusion in one view and the disparity in another view are consistent.

摘要翻译： 本对称立体匹配技术提供了一种使用置信传播迭代估计遮挡和视差的最小能量的方法。 最小能量基于嵌入可见性约束的能量最小化框架。 通过嵌入可见度约束，本对称立体匹配技术可以平等对待两个图像，而不是将其视为参考图像。 可见性约束确保一个视图中的遮挡和另一个视图中的视差是一致的。

公开(公告)号：US20080240607A1

公开(公告)日：2008-10-02

申请号：US11961752

申请日：2007-12-20

申请人： Jian Sun ,  Heung-Yeung Shum

发明人： Jian Sun ,  Heung-Yeung Shum

IPC分类号： G06K9/40

CPC分类号： G06T5/003 ,  G06T5/50

摘要： Image deblurring with blurred/noisy image pairs is described. In one implementation, a system combines a blurred image with a corresponding noisy image of the same subject to create a high-quality deblurred image. The blurred/noisy image pair can be acquired by an inexpensive hand-held camera, e.g., in unfavorable low light conditions. An exemplary iterative process uses the blurred image and the noisy image at each step to produce the high-quality image. First, the system estimates the blur kernel of the blurred image using information from both the blurred and noisy images. Then, the system performs residual image deconvolution, which favors suppression of ringing artifacts. Finally, the system applies gain-controlled deconvolution to suppress remaining ringing artifacts in smooth image regions. The system iterates these steps to obtain the final high-quality image.

摘要翻译： 描述了具有模糊/噪声图像对的图像去模糊。 在一个实现中，系统将模糊图像与相同对象的对应噪声图像相结合，以创建高质量的去模糊图像。 模糊/嘈杂的图像对可以由便宜的手持相机获取，例如在不利的低光条件下。 示例性迭代过程在每个步骤使用模糊图像和噪声图像来产生高质量图像。 首先，系统使用来自模糊和嘈杂图像的信息来估计模糊图像的模糊内核。 然后，系统执行残差图像去卷积，有利于抑制振铃伪像。 最后，系统采用增益控制去卷积来抑制平滑图像区域中的剩余振铃伪像。 系统迭代这些步骤以获得最终的高质量图像。

公开(公告)号：US07317843B2

公开(公告)日：2008-01-08

申请号：US10817633

申请日：2004-04-01

申请人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

IPC分类号： G06K9/40 ,  G06K9/00

CPC分类号： G06T5/40 ,  G06T5/009 ,  G06T5/50 ,  G06T2207/10024 ,  G06T2207/10144 ,  H04N5/217 ,  H04N5/23229 ,  H04N5/2355 ,  H04N5/35581

摘要： Techniques are disclosed to improve quality of images that may be blurred or underexposed. In one described implementation, a method includes providing two images of a same scene. The method determines a spatial coherence and color statistics of the two images. The determined color statistics and spatial coherence are utilized to enhance one of the two images.

摘要翻译： 公开了提高可能模糊或曝光不足的图像质量的技术。 在一个描述的实现中，一种方法包括提供相同场景的两个图像。 该方法确定两个图像的空间相干性和颜色统计。 使用确定的颜色统计和空间相干性来增强两个图像之一。