公开(公告)号：US08194102B2

公开(公告)日：2012-06-05

申请号：US12245771

申请日：2008-10-06

申请人： Michael Cohen ,  Qing Luan ,  Steven Drucker ,  Johannes Kopf ,  Ying-Qing Xu ,  Matthew T. Uyttendaele

发明人： Michael Cohen ,  Qing Luan ,  Steven Drucker ,  Johannes Kopf ,  Ying-Qing Xu ,  Matthew T. Uyttendaele

IPC分类号： G09G5/02 ,  G06T15/10 ,  G09G5/00 ,  G10L21/00

CPC分类号： G06T3/40

摘要： Techniques are described for rendering annotations associated with an image. A view of an image maybe shown on a display, and different portions of the image are displayed and undisplayed in the view according to panning and/or zooming of the image within the view. The image may have annotations. An annotation may have a location in the image and may have associated renderable media. The location of the annotation relative to the view may change according to the panning and/or zooming. A strength of the annotation may be computed, the strength changing based the panning and/or zooming of the image. The media may be rendered according to the strength. Whether to render the media may be determined by comparing the strength to a threshold.

摘要翻译： 描述了用于渲染与图像相关联的注释的技术。 可以在显示器上显示图像的视图，并且根据视图内的图像的平移和/或缩放来在视图中显示和不显示图像的不同部分。 图像可能有注释。 注释可以在图像中具有位置并且可以具有相关联的可渲染媒体。 注释相对于视图的位置可能会根据平移和/或缩放而改变。 可以计算注释的强度，根据图像的平移和/或缩放来改变强度。 媒体可以根据实力渲染。 可以通过将强度与阈值进行比较来确定是否呈现媒体。

公开(公告)号：US20100085383A1

公开(公告)日：2010-04-08

申请号：US12245771

申请日：2008-10-06

申请人： Michael Cohen ,  Qing Luan ,  Steven Drucker ,  Johannes Kopf ,  Ying-Qing Xu ,  Matthew T. Uyttendaele

发明人： Michael Cohen ,  Qing Luan ,  Steven Drucker ,  Johannes Kopf ,  Ying-Qing Xu ,  Matthew T. Uyttendaele

IPC分类号： G09G5/00

CPC分类号： G06T3/40

摘要： Techniques are described for rendering annotations associated with an image. A view of an image maybe shown on a display, and different portions of the image are displayed and undisplayed in the view according to panning and/or zooming of the image within the view. The image may have annotations. An annotation may have a location in the image and may have associated renderable media. The location of the annotation relative to the view may change according to the panning and/or zooming. A strength of the annotation may be computed, the strength changing based the panning and/or zooming of the image. The media may be rendered according to the strength. Whether to render the media may be determined by comparing the strength to a threshold.

摘要翻译： 描述了用于渲染与图像相关联的注释的技术。 可以在显示器上显示图像的视图，并且根据视图内的图像的平移和/或缩放来在视图中显示和不显示图像的不同部分。 图像可能有注释。 注释可以在图像中具有位置并且可以具有相关联的可渲染媒体。 注释相对于视图的位置可能会根据平移和/或缩放而改变。 可以计算注释的强度，根据图像的平移和/或缩放来改变强度。 媒体可以根据实力渲染。 可以通过将强度与阈值进行比较来确定是否呈现媒体。

公开(公告)号：US20090109236A1

公开(公告)日：2009-04-30

申请号：US12193970

申请日：2008-08-19

申请人： Ying-Qing Xu ,  Fang Wen ,  Qing Luan ,  Lin Liang

发明人： Ying-Qing Xu ,  Fang Wen ,  Qing Luan ,  Lin Liang

IPC分类号： G09G5/02

CPC分类号： G06T11/001

摘要： Techniques for providing localized color transfer are disclosed. In some aspects, a user may select a source region of a source image and a destination region of a destination image. The source region and the destination region may be associated by a designator to create a color transfer pair. A localized color transfer based on the color style of the source region may be implemented to modify the destination region color style. Further aspects may include optimizing the destination image to reduce discontinuities resulting from the color transfer and enabling the user to select regions of the destination image which are not modified by localized color transfer.

摘要翻译： 公开了用于提供局部色彩转移的技术。 在一些方面，用户可以选择源图像的源区域和目的地图像的目的地区域。 源区域和目的地区域可以由指示符相关联以创建颜色传输对。 可以实现基于源区域的颜色风格的局部颜色传送来修改目的地区域颜色风格。 另外的方面可以包括优化目的地图像以减少由颜色传送导致的不连续性，并且使用户能够选择不被局部颜色传送修改的目的地图像的区域。

公开(公告)号：US07483553B2

公开(公告)日：2009-01-27

申请号：US10812754

申请日：2004-03-29

申请人： Ying-Qing Xu ,  Heung-Yeung Shum ,  Michael Cohen ,  Lin Liang ,  Hua Zhong

发明人： Ying-Qing Xu ,  Heung-Yeung Shum ,  Michael Cohen ,  Lin Liang ,  Hua Zhong

IPC分类号： G06K9/00

CPC分类号： G06T11/00

摘要： Caricature exaggeration systems, engines, and methods create a drawing of a facial image, compare relationships among facial features in the drawing to corresponding relationships in facial images and corresponding caricatures in a database, and automatically exaggerate at least one relationship among facial features in the drawing based on the facial images and the corresponding caricatures in the database.

摘要翻译： 漫画夸张系统，引擎和方法创建面部图像的图形，比较绘图中的面部特征与面部图像中的对应关系和数据库中相应漫画的关系，并自动夸大图中面部特征之间的至少一个关系 基于面部图像和数据库中的相应漫画。

公开(公告)号：US20080063274A1

公开(公告)日：2008-03-13

申请号：US11942606

申请日：2007-11-19

申请人： Michael Cohen ,  Ying-Qing Xu ,  Heung-Yeung Shum ,  Jue Wang

发明人： Michael Cohen ,  Ying-Qing Xu ,  Heung-Yeung Shum ,  Jue Wang

IPC分类号： G06K9/00 ,  G06K9/34

CPC分类号： G11B27/034 ,  G06K9/00711 ,  G06T15/02 ,  H04N5/262

摘要： The techniques and mechanisms described herein are directed to a system for stylizing video, such as interactively transforming video to a cartoon-like style. Briefly stated, the techniques include determining a set of volumetric objects within a video, each volumetric object being a segment. Mean shift video segmentation may be used for this step. With that segmentation information, the technique further includes indicating on a limited number of keyframes of the video how segments should be merged into a semantic region. Finally, a contiguous volume is created by interpolating between keyframes by a mean shift constrained interpolation technique to propagate the semantic regions between keyframes.

摘要翻译： 这里描述的技术和机制针对用于对视频进行风格化的系统，诸如将视频交互地变换成卡通样式。 简而言之，技术包括确定视频内的一组体积对象，每个体积对象是一段。 平均移位视频分割可用于该步骤。 利用该分割信息，该技术还包括在片段的有限数量的关键帧上指示片段如何被合并到语义区域中。 最后，通过平均偏移约束插值技术在关键帧之间进行内插以在关键帧之间传播语义区域来创建连续体积。

公开(公告)号：US20050226502A1

公开(公告)日：2005-10-13

申请号：US10814851

申请日：2004-03-31

申请人： Michael Cohen ,  Ying-Qing Xu ,  Heung-Yeung Shum ,  Jue Wang

发明人： Michael Cohen ,  Ying-Qing Xu ,  Heung-Yeung Shum ,  Jue Wang

IPC分类号： G06K9/00 ,  G06K9/34 ,  H04N5/262

CPC分类号： G11B27/034 ,  G06K9/00711 ,  G06T15/02 ,  H04N5/262

摘要： The techniques and mechanisms described herein are directed to a system for stylizing video, such as interactively transforming video to a cartoon-like style. Briefly stated, the techniques include determining a set of volumetric objects within a video, each volumetric object being a segment. Mean shift video segmentation may be used for this step. With that segmentation information, the technique further includes indicating on a limited number of keyframes of the video how segments should be merged into a semantic region. Finally, a contiguous volume is created by interpolating between keyframes by a mean shift constrained interpolation technique to propagate the semantic regions between keyframes.

摘要翻译： 这里描述的技术和机制针对用于对视频进行风格化的系统，诸如将视频交互地变换成卡通样式。 简而言之，技术包括确定视频内的一组体积对象，每个体积对象是一段。 平均移位视频分割可用于该步骤。 利用该分割信息，该技术还包括在片段的有限数量的关键帧上指示片段如何被合并到语义区域中。 最后，通过平均偏移约束插值技术在关键帧之间进行内插以在关键帧之间传播语义区域来创建连续体积。

公开(公告)号：US20050212821A1

公开(公告)日：2005-09-29

申请号：US10812754

申请日：2004-03-29

申请人： Ying-Qing Xu ,  Heung-Yeung Shum ,  Michael Cohen ,  Lin Liang ,  Hua Zhong

发明人： Ying-Qing Xu ,  Heung-Yeung Shum ,  Michael Cohen ,  Lin Liang ,  Hua Zhong

IPC分类号： G09G5/00

CPC分类号： G06T11/00

摘要： Caricature exaggeration systems, engines, and methods create a drawing of a facial image, compare relationships among facial features in the drawing to corresponding relationships in facial images and corresponding caricatures in a database, and automatically exaggerate at least one relationship among facial features in the drawing based on the facial images and the corresponding caricatures in the database.

摘要翻译： 漫画夸张系统，引擎和方法创建面部图像的图形，比较绘图中的面部特征与面部图像中的对应关系和数据库中相应漫画的关系，并自动夸大图中面部特征之间的至少一个关系 基于面部图像和数据库中的相应漫画。

公开(公告)号：US07397948B1

公开(公告)日：2008-07-08

申请号：US10796736

申请日：2004-03-08

申请人： Michael Cohen ,  Bo Thiesson ,  Ying-Qing Xu ,  Jue Wang

发明人： Michael Cohen ,  Bo Thiesson ,  Ying-Qing Xu ,  Jue Wang

IPC分类号： G06K9/00

CPC分类号： G06K9/4652 ,  G06T7/11

摘要： Mean shift is a nonparametric estimator of density which has been applied to image and video segmentation. Traditional mean shift based segmentation uses a radially symmetric kernel to estimate local density, which is not optimal in view of the often structured nature of image and more particularly video data. The system and method of the invention employs an anisotropic kernel mean shift in which the shape, scale, and orientation of the kernels adapt to the local structure of the image or video. The anisotropic kernel is decomposed to provide handles for modifying the segmentation based on simple heuristics. Experimental results show that the anisotropic kernel mean shift outperforms the original mean shift on image and video segmentation in the following aspects: 1) it gets better results on general images and video in a smoothness sense; 2) the segmented results are more consistent with human visual saliency; and 3) the system and method is robust to initial parameters.

摘要翻译： 平均偏移是已经应用于图像和视频分割的密度的非参数估计器。 传统的基于平均移位的分割使用径向对称的核来估计局部密度，鉴于图像的经常结构化的特性，更特别是视频数据，这是非最优的。 本发明的系统和方法采用各向异性核平均移位，其中内核的形状，尺度和取向适应于图像或视频的局部结构。 各向异性核被分解以提供用于基于简单启发式修改分割的句柄。 实验结果表明，各向异性核平均偏移在以下几个方面优于原始平均偏移图像和视频分割：1）在平滑度方面对一般图像和视频获得更好的结果; 2）分段结果与人类视觉显着性更为一致; 和3）系统和方法对初始参数是鲁棒的。

公开(公告)号：US20120130717A1

公开(公告)日：2012-05-24

申请号：US12950801

申请日：2010-11-19

申请人： Ning Xu ,  Lijuan Wang ,  Frank Kao-Ping Soong ,  Xiao Liang ,  Qi Luo ,  Ying-Qing Xu ,  Xin Zou

发明人： Ning Xu ,  Lijuan Wang ,  Frank Kao-Ping Soong ,  Xiao Liang ,  Qi Luo ,  Ying-Qing Xu ,  Xin Zou

IPC分类号： G10L13/00 ,  G06T13/00

CPC分类号： G06T13/40 ,  G10L2021/105 ,  H04L51/04 ,  H04L51/10 ,  H04L51/32

摘要： Techniques for providing real-time animation for a personalized cartoon avatar are described. In one example, a process trains one or more animated models to provide a set of probabilistic motions of one or more upper body parts based on speech and motion data. The process links one or more predetermined phrases that represent emotional states to the one or more animated models. After creation of the models, the process receives real-time speech input. Next, the process identifies an emotional state to be expressed based on the one or more predetermined phrases matching in context to the real-time speech input. The process then generates an animated sequence of motions of the one or more upper body parts by applying the one or more animated models in response to the real-time speech input.

摘要翻译： 描述了为个性化卡通头像提供实时动画的技术。 在一个示例中，过程训练一个或多个动画模型，以基于语音和运动数据提供一组或多个上半身部分的概率运动。 该过程将表示情绪状态的一个或多个预定短语链接到一个或多个动画模型。 在创建模型之后，该过程接收实时语音输入。 接下来，该过程基于在上下文中与实时语音输入匹配的一个或多个预定短语来识别要表达的情绪状态。 然后，该过程通过响应于实时语音输入应用一个或多个动画模型来生成一个或多个上身部分的动画序列。

公开(公告)号：US07639250B2

公开(公告)日：2009-12-29

申请号：US11554970

申请日：2006-10-31

申请人： Ying-Qing Xu ,  Sing Bing Kang ,  Heung-Yeung Shum ,  Xuejin Chen

发明人： Ying-Qing Xu ,  Sing Bing Kang ,  Heung-Yeung Shum ,  Xuejin Chen

IPC分类号： G06T15/00

CPC分类号： G06T15/20 ,  G06T7/543 ,  G06T15/02 ,  G06T17/00 ,  G06T19/20 ,  G06T2200/08 ,  G06T2219/2012 ,  G06T2219/2021 ,  G06T2219/2024

摘要： Systems and methods for sketching reality are described. In one aspect, a set of vector primitives is identified from a 2-D sketch. In one implementation, the 2-D sketch is hand-drawn by a user. A 2.5D geometry model is automatically generated from the vector primitives. The 2.5D geometry model is automatically rendered and presented to a user. In one implementation, the user provides 2-D sketch-based user inputs to modify one or more of lighting position, lighting direction, lighting intensity, texture, color, and geometry of the presentation.

摘要翻译： 描述了绘制现实的系统和方法。 在一个方面，从2-D草图识别一组矢量基元。 在一个实现中，2-D草图由用户手绘。 从矢量基元自动生成2.5D几何模型。 2.5D几何模型自动呈现给用户。 在一个实现中，用户提供基于2D草图的用户输入来修改演示的照明位置，照明方向，照明强度，纹理，颜色和几何形状中的一个或多个。