公开(公告)号：US20070086622A1

公开(公告)日：2007-04-19

申请号：US11380635

申请日：2006-04-27

申请人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G06K9/00 ,  G06K9/34

CPC分类号： G06K9/3241 ,  G06K9/32 ,  G06T7/277

摘要： The present video tracking technique outputs a Maximum A Posterior (MAP) solution for a target object based on two object templates obtained from a start and an end keyframe of a whole state sequence. The technique first minimizes the whole state space of the sequence by generating a sparse set of local two-dimensional modes in each frame of the sequence. The two-dimensional modes are converted into three-dimensional points within a three-dimensional volume. The three-dimensional points are clustered using a spectral clustering technique where each cluster corresponds to a possible trajectory segment of the target object. If there is occlusion in the sequence, occlusion segments are generated so that an optimal trajectory of the target object can be obtained.

摘要翻译： 本视频跟踪技术基于从整个状态序列的开始和结束关键帧获得的两个对象模板，为目标对象输出最大A后验（MAP）解决方案。 该技术首先通过在序列的每个帧中生成稀疏的局部二维模式集来最小化序列的整个状态空间。 二维模式在三维体积内被转换成三维点。 使用光谱聚类技术对三维点进行聚类，其中每个聚类对应于目标对象的可能的轨迹段。 如果序列中存在闭塞，则生成闭塞段，从而可以获得目标对象的最佳轨迹。

公开(公告)号：US20070216675A1

公开(公告)日：2007-09-20

申请号：US11467859

申请日：2006-08-28

申请人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： H04N13/04 ,  G06T15/00

CPC分类号： G06T11/00

摘要： Digital video effects are described. In one aspect, a foreground object in a video stream is identified. The video stream comprises multiple image frames. The foreground object is modified by rendering a 3-dimensional (3-D) visual feature over the foreground object for presentation to a user in a modified video stream. Pose of the foreground object is tracked in 3-D space across respective ones of the image frames to identify when the foreground object changes position in respective ones of the image frames. Based on this pose tracking, aspect ratio of the 3-D visual feature is adaptively modified and rendered over the foreground object in corresponding image frames for presentation to the user in the modified video stream.

摘要翻译： 描述数字视频效果。 在一个方面，识别视频流中的前景对象。 视频流包括多个图像帧。 通过在前景对象上呈现三维（3-D）视觉特征来修改前景对象，以呈现给经修改的视频流中的用户。 前景物体的姿态在相应的图像帧中的3-D空间中被跟​​踪，以识别前景对象何时改变相应图像帧中的位置。 基于这种姿态跟踪，3-D视觉特征的宽高比被自适应地修改并在相应图像帧中的前景对象上呈现，以便在修改的视频流中呈现给用户。

公开(公告)号：US20070133880A1

公开(公告)日：2007-06-14

申请号：US11469371

申请日：2006-08-31

申请人： Jian Sun ,  Heung-Yeung Shum ,  Xiaoou Tang ,  Weiwei Zhang

发明人： Jian Sun ,  Heung-Yeung Shum ,  Xiaoou Tang ,  Weiwei Zhang

IPC分类号： G06K9/46

CPC分类号： G06K9/38 ,  G06T7/11 ,  G06T7/90 ,  G06T2207/10016

摘要： Exemplary systems and methods segment a foreground from a background image in a video sequence. In one implementation, a system refines a segmentation boundary between the foreground and the background image by attenuating background contrast while preserving contrast of the segmentation boundary itself, providing an accurate background cut of live video in real time. A substitute background may then be merged with the segmented foreground within the live video. The system can apply an adaptive background color mixture model to improve segmentation of foreground from background under various background changes, such as camera movement, illumination change, and movement of small objects in the background.

摘要翻译： 示例性系统和方法从视频序列中的背景图像分割前景。 在一个实现中，系统通过衰减背景对比度同时保留分割边界本身的对比度来优化前景和背景图像之间的分割边界，从而实时提供实况视频的精确背景截图。 然后可以将替代背景与实时视频中的分段前景合并。 该系统可以应用自适应背景颜色混合模型，从而在各种背景变化（例如相机移动，照明变化和背景中的小物体的移动）下改进背景的前景分割。

公开(公告)号：US07720283B2

公开(公告)日：2010-05-18

申请号：US11469371

申请日：2006-08-31

申请人： Jian Sun ,  Heung-Yeung Shum ,  Xiaoou Tang ,  Weiwei Zhang

发明人： Jian Sun ,  Heung-Yeung Shum ,  Xiaoou Tang ,  Weiwei Zhang

IPC分类号： G06K9/34

CPC分类号： G06K9/38 ,  G06T7/11 ,  G06T7/90 ,  G06T2207/10016

摘要： Exemplary systems and methods segment a foreground from a background image in a video sequence. In one implementation, a system refines a segmentation boundary between the foreground and the background image by attenuating background contrast while preserving contrast of the segmentation boundary itself, providing an accurate background cut of live video in real time. A substitute background may then be merged with the segmented foreground within the live video. The system can apply an adaptive background color mixture model to improve segmentation of foreground from background under various background changes, such as camera movement, illumination change, and movement of small objects in the background.

摘要翻译： 示例性系统和方法从视频序列中的背景图像分割前景。 在一个实现中，系统通过衰减背景对比度同时保留分割边界本身的对比度来优化前景和背景图像之间的分割边界，从而实时提供实况视频的精确背景切割。 然后可以将替代背景与实时视频中的分段前景合并。 该系统可以应用自适应背景颜色混合模型，从而在各种背景变化（例如相机移动，照明变化和背景中的小物体的移动）下改进背景的前景分割。

公开(公告)号：US08026931B2

公开(公告)日：2011-09-27

申请号：US11467859

申请日：2006-08-28

申请人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Qiang Wang ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G09G5/00 ,  G06K9/34

CPC分类号： G06T11/00

摘要： Digital video effects are described. In one aspect, a foreground object in a video stream is identified. The video stream comprises multiple image frames. The foreground object is modified by rendering a 3-dimensional (3-D) visual feature over the foreground object for presentation to a user in a modified video stream. Pose of the foreground object is tracked in 3-D space across respective ones of the image frames to identify when the foreground object changes position in respective ones of the image frames. Based on this pose tracking, aspect ratio of the 3-D visual feature is adaptively modified and rendered over the foreground object in corresponding image frames for presentation to the user in the modified video stream.

摘要翻译： 描述数字视频效果。 在一个方面，识别视频流中的前景对象。 视频流包括多个图像帧。 通过在前景对象上呈现三维（3-D）视觉特征来修改前景对象，以呈现给经修改的视频流中的用户。 前景物体的姿态在相应的图像帧中的3-D空间中被跟​​踪，以识别前景对象何时改变相应图像帧中的位置。 基于这种姿态跟踪，3-D视觉特征的宽高比被自适应地修改并在相应图像帧中的前景对象上呈现，以便在修改的视频流中呈现给用户。

公开(公告)号：US07817822B2

公开(公告)日：2010-10-19

申请号：US11380635

申请日：2006-04-27

申请人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Weiwei Zhang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G06K9/00

CPC分类号： G06K9/3241 ,  G06K9/32 ,  G06T7/277

摘要： The present video tracking technique outputs a Maximum A Posterior (MAP) solution for a target object based on two object templates obtained from a start and an end keyframe of a whole state sequence. The technique first minimizes the whole state space of the sequence by generating a sparse set of local two-dimensional modes in each frame of the sequence. The two-dimensional modes are converted into three-dimensional points within a three-dimensional volume. The three-dimensional points are clustered using a spectral clustering technique where each cluster corresponds to a possible trajectory segment of the target object. If there is occlusion in the sequence, occlusion segments are generated so that an optimal trajectory of the target object can be obtained.

摘要翻译： 本视频跟踪技术基于从整个状态序列的开始和结束关键帧获得的两个对象模板，为目标对象输出最大A后验（MAP）解决方案。 该技术首先通过在序列的每个帧中生成稀疏的局部二维模式集来最小化序列的整个状态空间。 二维模式在三维体积内被转换成三维点。 使用光谱聚类技术对三维点进行聚类，其中每个聚类对应于目标对象的可能的轨迹段。 如果序列中存在闭塞，则生成闭塞段，从而可以获得目标对象的最佳轨迹。

公开(公告)号：US20080297621A1

公开(公告)日：2008-12-04

申请号：US11807448

申请日：2007-05-29

申请人： Jian Sun ,  Jian Sun ,  Sing Bing Kang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jian Sun ,  Sing Bing Kang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： H04N9/73

CPC分类号： H04N9/76 ,  G06T7/11 ,  G06T7/143 ,  G06T7/194 ,  G06T2207/10144 ,  H04N5/23232

摘要： A flash-based strategy is used to separate foreground information from background information within image information. In this strategy, a first image is taken without the use of flash. A second image is taken of the same subject matter with the use of flash. The foreground information in the flash image is illuminated by the flash to a much greater extent than the background information. Based on this property, the strategy applies processing to extract the foreground information from the background information. The strategy supplements the flash information by also taking into consideration motion information and color information.

摘要翻译： 基于闪存的策略用于将前景信息与图像信息中的背景信息分离。 在这个策略中，第一个图像是不使用闪光灯的。 使用闪光灯拍摄相同主题的第二张照片。 闪光灯中的前景信息被闪光灯照亮到比背景信息更大的程度。 基于此属性，该策略应用处理从背景信息中提取前景信息。 该策略通过考虑运动信息和颜色信息来补充闪光信息。

公开(公告)号：US07808532B2

公开(公告)日：2010-10-05

申请号：US11807448

申请日：2007-05-29

申请人： Jian Sun ,  Jian Sun ,  Sing Bing Kang ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Jian Sun ,  Sing Bing Kang ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： H04N9/73

CPC分类号： H04N9/76 ,  G06T7/11 ,  G06T7/143 ,  G06T7/194 ,  G06T2207/10144 ,  H04N5/23232

摘要： A flash-based strategy is used to separate foreground information from background information within image information. In this strategy, a first image is taken without the use of flash. A second image is taken of the same subject matter with the use of flash. The foreground information in the flash image is illuminated by the flash to a much greater extent than the background information. Based on this property, the strategy applies processing to extract the foreground information from the background information. The strategy supplements the flash information by also taking into consideration motion information and color information.

摘要翻译： 基于闪存的策略用于将前景信息与图像信息中的背景信息分离。 在这个策略中，第一个图像是不使用闪光灯的。 使用闪光灯拍摄相同主题的第二张照片。 闪光灯中的前景信息被闪光灯照亮到比背景信息更大的程度。 基于此属性，该策略应用处理从背景信息中提取前景信息。 该策略通过考虑运动信息和颜色信息来补充闪光信息。

公开(公告)号：US20080304740A1

公开(公告)日：2008-12-11

申请号：US11759192

申请日：2007-06-06

申请人： Jian Sun ,  Tie Liu ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Tie Liu ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G06K9/00

CPC分类号： G06K9/3233 ,  G06K9/4638

摘要： Methods for detecting a salient object in an input image are described. For this, the salient object in an image may be defined using a set of local, regional, and global features including multi-scale contrast, center-surround histogram, and color spatial distribution. These features are optimally combined through conditional random field learning. The learned conditional random field is then used to locate the salient object in the image. The methods can also use image segmentation, where the salient object is separated from the image background.

摘要翻译： 描述用于检测输入图像中的突出物体的方法。 为此，可以使用一组局部，区域和全局特征来定义图像中的显着对象，包括多尺度对比度，中心环绕直方图和颜色空间分布。 这些特征通过条件随机场学习进行最佳组合。 然后使用学习的条件随机字段来定位图像中的显着对象。 该方法还可以使用图像分割，其中显着对象与图像背景分离。

公开(公告)号：US07576755B2

公开(公告)日：2009-08-18

申请号：US11674243

申请日：2007-02-13

申请人： Jian Sun ,  Xiaoou Tang ,  Heung-Yeung Shum

发明人： Jian Sun ,  Xiaoou Tang ,  Heung-Yeung Shum

IPC分类号： G09G5/00

CPC分类号： G06T11/60

摘要： Systems and methods provide picture collage systems and methods. In one implementation, a system determines a salient region in each of multiple images and develops a Bayesian model to maximize visibility of the salient regions in a collage that overlaps the images. The Bayesian model can also minimize blank spaces in the collage and normalize the percentage of each salient region that can be visibly displayed in the collage. Images are placed with diversified rotational orientation to provide a natural artistic collage appearance. A Markov Chain Monte Carlo technique is applied to the parameters of the Bayesian model to obtain image placement, orientation, and layering. The MCMC technique can combine optimization proposals that include local, global, and pairwise samplings from a distribution of state variables.

摘要翻译： 系统和方法提供图片拼贴系统和方法。 在一个实现中，系统确定多个图像中的每一个中的显着区域，并且开发贝叶斯模型以最大化与图像重叠的拼贴中的显着区域的可见性。 贝叶斯模型还可以将拼贴中的空白空间最小化，并将每个显着区域的百分比归一化，可以在拼贴画中显示。 图像以多样化的旋转方向放置，以提供自然的艺术拼贴外观。 将马尔科夫链蒙特卡罗技术应用于贝叶斯模型的参数，以获得图像放置，取向和分层。 MCMC技术可以结合来自状态变量分布的本地，全局和成对采样的优化提议。