公开(公告)号：US08184926B2

公开(公告)日：2012-05-22

申请号：US11961752

申请日：2007-12-20

申请人： Jian Sun ,  Heung-Yeung Shum

发明人： Jian Sun ,  Heung-Yeung Shum

IPC分类号： G06K9/40 ,  G06K9/36 ,  H04N9/74 ,  G09G5/00

CPC分类号： G06T5/003 ,  G06T5/50

摘要： Image deblurring with blurred/noisy image pairs is described. In one implementation, a system combines a blurred image with a corresponding noisy image of the same subject to create a high-quality deblurred image. The blurred/noisy image pair can be acquired by an inexpensive hand-held camera, e.g., in unfavorable low light conditions. An exemplary iterative process uses the blurred image and the noisy image at each step to produce the high-quality image. First, the system estimates the blur kernel of the blurred image using information from both the blurred and noisy images. Then, the system performs residual image deconvolution, which favors suppression of ringing artifacts. Finally, the system applies gain-controlled deconvolution to suppress remaining ringing artifacts in smooth image regions. The system iterates these steps to obtain the final high-quality image.

摘要翻译： 描述了具有模糊/噪声图像对的图像去模糊。 在一个实现中，系统将模糊图像与相同对象的对应噪声图像相结合，以创建高质量的去模糊图像。 模糊/嘈杂的图像对可以由便宜的手持相机获取，例如在不利的低光条件下。 示例性迭代过程在每个步骤使用模糊图像和噪声图像来产生高质量图像。 首先，系统使用来自模糊和嘈杂图像的信息来估计模糊图像的模糊内核。 然后，系统执行残差图像去卷积，有利于抑制振铃伪像。 最后，系统采用增益控制去卷积来抑制平滑图像区域中的剩余振铃伪像。 系统迭代这些步骤以获得最终的高质量图像。

公开(公告)号：US20120045118A1

公开(公告)日：2012-02-23

申请号：US13286111

申请日：2011-10-31

申请人： Yan Lu ,  Feng Wu ,  Richard Qian ,  Heung-Yeung Shum

发明人： Yan Lu ,  Feng Wu ,  Richard Qian ,  Heung-Yeung Shum

IPC分类号： G06K9/62

CPC分类号： H04N19/625 ,  H04N19/132 ,  H04N19/14 ,  H04N19/172 ,  H04N19/587 ,  H04N19/59 ,  H04N19/85 ,  H04N19/86 ,  H04N19/90

摘要： Image resizing for web-based searching is described. In one implementation, a system resizes a user-selected thumbnail image into a larger version of the image that emulates the quality of a large, original image, but without downloading the original image. First, the system extracts resizing parameters when each thumbnail image is created. Then, the system creates a codebook of primitive visual elements extracted from a collection of training images. The primitive visual elements in the codebook provide universal visual parts for reconstructing images. The codebook and a resizing plug-in can be sent once to the user over a background channel. When the user selects a thumbnail image for enlargement, the system resizes the thumbnail image via interpolation and then refines the enlarged image with primitive visual elements from the codebook. The refinement creates an enlarged image that emulates the quality of the large, original image, without downloading the original image.

摘要翻译： 描述了基于Web的搜索的图像调整大小。 在一个实现中，系统将用户选择的缩略图图像调整为模拟大的原始图像的质量但不下载原始图像的图像的较大版本。 首先，当创建每个缩略图时，系统提取调整大小的参数。 然后，系统创建从训练图像的集合中提取的原始视觉元素的码本。 码本中的原始视觉元素提供了用于重建图像的通用视觉部件。 码本和调整大小的插件可以通过背景频道一次发送给用户。 当用户选择缩放图像进行放大时，系统通过插值重新调整缩略图的大小，然后用码本中的原始视觉元素对放大图像进行细化。 细化创建一个放大的图像，可以模拟大型原始图像的质量，而无需下载原始图像。

公开(公告)号：US08026931B2

公开(公告)日：2011-09-27

申请号：US11467859

申请日：2006-08-28

申请人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G09G5/00 ,  G06K9/34

CPC分类号： G06T11/00

摘要： Digital video effects are described. In one aspect, a foreground object in a video stream is identified. The video stream comprises multiple image frames. The foreground object is modified by rendering a 3-dimensional (3-D) visual feature over the foreground object for presentation to a user in a modified video stream. Pose of the foreground object is tracked in 3-D space across respective ones of the image frames to identify when the foreground object changes position in respective ones of the image frames. Based on this pose tracking, aspect ratio of the 3-D visual feature is adaptively modified and rendered over the foreground object in corresponding image frames for presentation to the user in the modified video stream.

摘要翻译： 描述数字视频效果。 在一个方面，识别视频流中的前景对象。 视频流包括多个图像帧。 通过在前景对象上呈现三维（3-D）视觉特征来修改前景对象，以呈现给经修改的视频流中的用户。 前景物体的姿态在相应的图像帧中的3-D空间中被跟​​踪，以识别前景对象何时改变相应图像帧中的位置。 基于这种姿态跟踪，3-D视觉特征的宽高比被自适应地修改并在相应图像帧中的前景对象上呈现，以便在修改的视频流中呈现给用户。

公开(公告)号：US07933442B2

公开(公告)日：2011-04-26

申请号：US11694840

申请日：2007-03-30

申请人： Jiaping Wang ,  Xin Tong ,  Stephen Lin ,  Baining Guo ,  Heung-Yeung Shum

发明人： Jiaping Wang ,  Xin Tong ,  Stephen Lin ,  Baining Guo ,  Heung-Yeung Shum

IPC分类号： G06K9/00

CPC分类号： G06T19/00 ,  G06T13/00 ,  G06T2210/64

摘要： A method for modeling a time-variant appearance of a material is described. A sample analysis of a material sample is performed, wherein the sample analysis orders surface points of the material sample with respect to weathering from data captured at a single instant in time. An appearance synthesis using the sample analysis is performed, wherein the appearance synthesis generates a time-variant sequence of frames for weathering an object.

摘要翻译： 描述了用于对材料的时变外观进行建模的方法。 进行材料样品的样品分析，其中样品分析根据在单个时刻捕获的数据对材料样品的表面点进行排序。 执行使用样本分析的外观合成，其中外观合成生成用于风化对象的帧的时变序列。

公开(公告)号：US20110078159A1

公开(公告)日：2011-03-31

申请号：US12571302

申请日：2009-09-30

申请人： Zhiwei Li ,  Lei Zhang ,  Rui Cai ,  Wei-Ying Ma ,  Heung-Yeung Shum

发明人： Zhiwei Li ,  Lei Zhang ,  Rui Cai ,  Wei-Ying Ma ,  Heung-Yeung Shum

IPC分类号： G06F17/30

CPC分类号： G06F17/3028 ,  G06F17/30448

摘要： Described herein is a technology that facilitates efficient large-scale similarity-based retrieval. In several embodiments documents, images, and/or other multimedia files are compactly represented and efficiently indexed to enable robust search using a long-query in a large-scale corpus. As described herein, these techniques include performing decomposition of a file, e.g., a document or document-like representation. The techniques use dimension reduction to obtain three parts, topic-related words (major semantics), document specific words (minor semantics), and background words, representing the major semantics in a feature vector and the minor semantics as keywords. Using the techniques described, file vectors are matched in a topic model and the results ranked based on the keywords.

摘要翻译： 这里描述了一种有助于有效的大规模相似性检索的技术。 在几个实施例中，文档，图像和/或其他多媒体文件被紧凑地表示并且被有效地索引，以使得能够使用大规模语料库中的长查询进行鲁棒搜索。 如这里所述，这些技术包括执行文件的分解，例如文档或类似文档的表示。 这些技术使用维度缩减来获得三个部分，主题相关词（主要语义），文档特定词（次要语义）和背景词，表示特征向量中的主要语义和次要语义作为关键字。 使用所描述的技术，在主题模型中匹配文件向量，并根据关键字对结果进行排名。

公开(公告)号：US07916794B2

公开(公告)日：2011-03-29

申请号：US10931769

申请日：2004-08-31

申请人： Jiang Li ,  Heung-Yeung Shum ,  Gang Chen

发明人： Jiang Li ,  Heung-Yeung Shum ,  Gang Chen

IPC分类号： H04N7/18

CPC分类号： H04N19/156 ,  H04N19/13

摘要： A system and process for broadcast and communication with bi-level or sketch video at extremely low bandwidths is described. Essentially, bi-level and sketch video presents the outlines of the objects in a scene being depicted. Bi-level and sketch video provides a clearer shape, smoother motion, shorter initial latency and cheaper computational cost than do conventional DCT-based video compression methods. This is accomplished by converting each color or gray-scale image frame to bi-level or sketch image frame using adaptive thresholding method, compressing bi-level or sketch image frames into bi-level or sketch video using adaptive context-based arithmetic coding method. Bi-level or sketch video is particularly suitable to such small devices as Pocket PCs and mobile phones that possess small display screen, low bandwidth connection, and light computational power.

摘要翻译： 描述了以非常低的带宽进行双级或草图视频的广播和通信的系统和过程。 本质上，双层和素描视频呈现了所描绘的场景中对象的轮廓。 与传统的基于DCT的视频压缩方法相比，双层和草图视频提供了更清晰的形状，更平滑的运动，更短的初始延迟和更便宜的计算成本。 这是通过使用自适应阈值方法将每个颜色或灰度级图像帧转换为双级或草图图像帧来实现的，使用自适应基于上下文的算术编码方法将双级或者草图图像帧压缩为双级或草图视频。 双级或草图视频特别适用于具有小显示屏，低带宽连接和轻量级计算能力的小型设备，如掌上电脑和手机。

公开(公告)号：US07817822B2

公开(公告)日：2010-10-19

申请号：US11380635

申请日：2006-04-27

申请人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G06K9/00

CPC分类号： G06K9/3241 ,  G06K9/32 ,  G06T7/277

摘要： The present video tracking technique outputs a Maximum A Posterior (MAP) solution for a target object based on two object templates obtained from a start and an end keyframe of a whole state sequence. The technique first minimizes the whole state space of the sequence by generating a sparse set of local two-dimensional modes in each frame of the sequence. The two-dimensional modes are converted into three-dimensional points within a three-dimensional volume. The three-dimensional points are clustered using a spectral clustering technique where each cluster corresponds to a possible trajectory segment of the target object. If there is occlusion in the sequence, occlusion segments are generated so that an optimal trajectory of the target object can be obtained.

摘要翻译： 本视频跟踪技术基于从整个状态序列的开始和结束关键帧获得的两个对象模板，为目标对象输出最大A后验（MAP）解决方案。 该技术首先通过在序列的每个帧中生成稀疏的局部二维模式集来最小化序列的整个状态空间。 二维模式在三维体积内被转换成三维点。 使用光谱聚类技术对三维点进行聚类，其中每个聚类对应于目标对象的可能的轨迹段。 如果序列中存在闭塞，则生成闭塞段，从而可以获得目标对象的最佳轨迹。

公开(公告)号：US07808532B2

公开(公告)日：2010-10-05

申请号：US11807448

申请日：2007-05-29

申请人： Jian Sun ,  Jian Sun ,  Sing Bing Kang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jian Sun ,  Sing Bing Kang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： H04N9/73

CPC分类号： H04N9/76 ,  G06T7/11 ,  G06T7/143 ,  G06T7/194 ,  G06T2207/10144 ,  H04N5/23232

摘要： A flash-based strategy is used to separate foreground information from background information within image information. In this strategy, a first image is taken without the use of flash. A second image is taken of the same subject matter with the use of flash. The foreground information in the flash image is illuminated by the flash to a much greater extent than the background information. Based on this property, the strategy applies processing to extract the foreground information from the background information. The strategy supplements the flash information by also taking into consideration motion information and color information.

摘要翻译： 基于闪存的策略用于将前景信息与图像信息中的背景信息分离。 在这个策略中，第一个图像是不使用闪光灯的。 使用闪光灯拍摄相同主题的第二张照片。 闪光灯中的前景信息被闪光灯照亮到比背景信息更大的程度。 基于此属性，该策略应用处理从背景信息中提取前景信息。 该策略通过考虑运动信息和颜色信息来补充闪光信息。

公开(公告)号：US07755619B2

公开(公告)日：2010-07-13

申请号：US11465369

申请日：2006-08-17

申请人： Qiang Wang ,  Heung-Yeung Shum ,  Xiaoou Tang

发明人： Qiang Wang ,  Heung-Yeung Shum ,  Xiaoou Tang

IPC分类号： G06T15/00

CPC分类号： G06T17/20 ,  G06T7/55 ,  G06T2200/08

摘要： Systems and methods perform automatic 3D face modeling. In one implementation, a brief video clip of a user's head turning from front to side provides enough input for automatically achieving a model that includes 2D feature matches, 3D head pose, 3D face shape, and facial textures. The video clip of the user may be of poor quality. In a two layer iterative method, the video clip is divided into segments. Flow-based feature estimation and model-based feature refinement are applied recursively to each segment. Then the feature estimation and refinement are iteratively applied across all the segments. The entire modeling method is automatic and the two layer iterative method provides speed and efficiency, especially when sparse bundle adjustment is applied to boost efficiency.

摘要翻译： 系统和方法执行自动3D脸部建模。 在一个实现中，用户头部从前到后的简短视频剪辑提供足够的输入，用于自动实现包括2D特征匹配，3D头部姿势，3D脸部形状和面部纹理的模型。 用户的视频剪辑可能质量差。 在两层迭代方法中，视频剪辑被划分成段。 基于流的特征估计和基于模型的特征细化被递归地应用于每个段。 然后，特征估计和细化被迭代地应用于所有段。 整个建模方法是自动的，两层迭代法提供了速度和效率，特别是当稀疏束调整应用于提高效率时。

公开(公告)号：US07636128B2

公开(公告)日：2009-12-22

申请号：US11183226

申请日：2005-07-15

申请人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jiaya Jia ,  Heung-Yeung Shum

IPC分类号： H04N9/74 ,  H04N9/76

CPC分类号： G06T7/12 ,  G06T7/194 ,  G06T2207/20092

摘要： An exemplary method includes receiving a trimap for an image that specifies a background region, a foreground region and an unknown region for the image wherein a boundary exists between the foreground region and the unknown region and wherein another boundary exists between the unknown region and the background region, solving a set of Poisson equations having boundary conditions for the two boundaries to provide a matte that distinguishes a foreground region from a background region in the unknown region, and refining the matte by solving a set of Poisson equations for a local unknown region. Various other exemplary technologies are also presented.

摘要翻译： 一种示例性方法包括：接收用于图像的微调，该图像指定用于图像的背景区域，前景区域和未知区域，其中在前景区域和未知区域之间存在边界，并且其中在未知区域和背景之间存在另一边界 区域，求解一组具有两个边界的边界条件的泊松方程，以提供区分未知区域中的前景区域和背景区域的无光泽，以及通过求解一组局部未知区域的泊松方程来改善无光泽。 还提出了各种其它示例性技术。