公开(公告)号：US09113043B1

公开(公告)日：2015-08-18

申请号：US13317658

申请日：2011-10-24

申请人： Changil Kim ,  Alexander Hornung ,  Simon Heinzle ,  Wojciech Matusik ,  Markus Gross

发明人： Changil Kim ,  Alexander Hornung ,  Simon Heinzle ,  Wojciech Matusik ,  Markus Gross

IPC分类号： H04N7/18 ,  H04N13/02 ,  G09G5/00

CPC分类号： H04N7/18 ,  G02B27/0172 ,  G02B2027/0134 ,  G02B2027/0138 ,  G02B2027/0178 ,  G06T3/0093 ,  G06T15/06 ,  G06T15/08 ,  G06T2200/04 ,  G06T2207/10004 ,  G06T2207/10016 ,  G06T2210/61 ,  G06T2219/2008 ,  G09G5/00 ,  H04N13/128 ,  H04N13/239 ,  H04N13/271 ,  H04N13/275 ,  H04N13/282 ,  H04N13/31 ,  H04N13/32 ,  H04N13/339 ,  H04N13/349 ,  H04N13/395 ,  H04N2013/0081 ,  H04N2013/0092

摘要： Methods and systems for generating stereoscopic content with granular control over binocular disparity based on multi-perspective imaging from representations of light fields are provided. The stereoscopic content is computed as piecewise continuous cuts through a representation of a light field, minimizing an energy reflecting prescribed parameters such as depth budget, maximum binocular disparity gradient, desired stereoscopic baseline. The methods and systems may be used for efficient and flexible stereoscopic post-processing, such as reducing excessive binocular disparity while preserving perceived depth or retargeting of already captured scenes to various view settings. Moreover, such methods and systems are highly useful for content creation in the context of multi-view autostereoscopic displays and provide a novel conceptual approach to stereoscopic image processing and post-production.

摘要翻译： 提供了基于从光场表示的多视角成像产生具有对双目视差的细粒度控制的立体内容的方法和系统。 立体内容被计算为通过光场的表示的分段连续切割，最小化反映规定参数的能量，例如深度预算，最大双眼视差梯度，期望的立体基线。 方法和系统可以用于有效和灵活的立体后处理，例如减少过度的双目视差，同时保持感测深度或将已捕获的场景重新定位到各种视图设置。 此外，这种方法和系统对于在多视点自动立体显示器的背景下的内容创建非常有用，并且提供了一种用于立体图像处理和后期制作的新颖的概念方法。

公开(公告)号：US20130335426A1

公开(公告)日：2013-12-19

申请号：US13525052

申请日：2012-06-15

申请人： Gioacchino NORIS ,  Daniel SYKORA ,  Stelian COROS ,  Alexander HORNUNG ,  Brian WHITED ,  Maryann SIMMONS ,  Markus GROSS ,  Robert SUMNER

发明人： Gioacchino NORIS ,  Daniel SYKORA ,  Stelian COROS ,  Alexander HORNUNG ,  Brian WHITED ,  Maryann SIMMONS ,  Markus GROSS ,  Robert SUMNER

IPC分类号： G06T13/00

CPC分类号： G06T13/00

摘要： Techniques are presented for controlling the amount of temporal noise in certain animation sequences. Sketchy animation sequences are received in an input in a digital form and used to create an altered version of the same animation with temporal coherence enforced down to the stroke level, resulting in a reduction of the perceived noise. The amount of reduction is variable and can be controlled via a single parameter to achieve a desired artistic effect.

摘要翻译： 提出了用于控制某些动画序列中的时间噪声量的技术。 在数字形式的输入中接收粗略的动画序列，并且用于创建相同动画的改变版本，并且时间相干性强制到笔画级别，导致感知噪声的降低。 减少量是可变的，并且可以通过单个参数来控制以实现期望的艺术效果。

公开(公告)号：US20130176397A1

公开(公告)日：2013-07-11

申请号：US13347537

申请日：2012-01-10

申请人： Thomas Oskam ,  Alexander Hornung ,  Huw Bowles ,  Kenny Mitchell ,  Markus Gross

发明人： Thomas Oskam ,  Alexander Hornung ,  Huw Bowles ,  Kenny Mitchell ,  Markus Gross

IPC分类号： H04N7/18 ,  H04N13/02

CPC分类号： H04N13/111 ,  H04N13/128 ,  H04N13/332

摘要： A method is provided for an optimized stereoscopic camera with low processing overhead, especially suitable for real-time applications. By constructing a viewer-centric and scene-centric model, the mapping of scene depth to perceived depth may be defined as an optimization problem, for which a solution is analytically derived based on constraints to stereoscopic camera parameters including interaxial separation and convergence distance. The camera parameters may thus be constrained prior to rendering to maintain a desired perceived depth volume around a stereoscopic display, for example to ensure user comfort or provide artistic effects. To compensate for sudden scene depth changes due to unpredictable camera or object movements, as may occur with real-time applications such as video games, the constraints may also be temporally interpolated to maintain a linearly corrected and approximately constant perceived depth range over time.

摘要翻译： 为具有低处理开销的优化立体相机提供了一种方法，特别适用于实时应用。 通过构建以观众为中心和以场景为中心的模型，场景深度与感知深度的映射可以被定义为优化问题，基于对包括轴间分离和收敛距离的立体摄像机参数的约束，分析地导出解决方案。 因此，在渲染之前可以约束相机参数以在立体显示器周围保持期望的感知深度体积，例如以确保用户舒适度或提供艺术效果。 为了补偿由于不可预测的相机或物体移动引起的突发场景深度变化，如可能在诸如视频游戏的实时应用中可能发生的，约束也可以在时间上被内插以保持随时间的线性校正和近似恒定的感知深度范围。

公开(公告)号：US20110267344A1

公开(公告)日：2011-11-03

申请号：US13096488

申请日：2011-04-28

申请人： Marcel Germann ,  Stephan Wuermlin Stadler ,  Richard Keiser ,  Remo Ziegler ,  Christoph Niederberger ,  Alexander Hornung ,  Marcus Gross

发明人： Marcel Germann ,  Stephan Wuermlin Stadler ,  Richard Keiser ,  Remo Ziegler ,  Christoph Niederberger ,  Alexander Hornung ,  Marcus Gross

IPC分类号： G06K9/00 ,  G06T17/00

CPC分类号： G06T15/205 ,  G06K9/00201 ,  G06T7/74 ,  G06T2207/10021 ,  G06T2207/30196

摘要： A computer-implemented method for estimating a pose of an articulated object model (4), wherein the articulated object model (4) is a computer based 3D model (1) of a real world object (14) observed by one or more source cameras (9), and wherein the pose of the articulated object model (4) is defined by the spatial location of joints (2) of the articulated object model (4), comprises the steps of obtaining a source image (10) from a video stream; processing the source image (10) to extract a source image segment (13); maintaining, in a database, a set of reference silhouettes, each being associated with an articulated object model (4) and a corresponding reference pose; comparing the source image segment (13) to the reference silhouettes and selecting reference silhouettes by taking into account, for each reference silhouette, a matching error that indicates how closely the reference silhouette matches the source image segment (13) and/or a coherence error that indicates how much the reference pose is consistent with the pose of the same real world object (14) as estimated from a preceding source image (10); retrieving the corresponding reference poses of the articulated object models (4); and computing an estimate of the pose of the articulated object model (4) from the reference poses of the selected reference silhouettes.

摘要翻译： 一种用于估计铰接对象模型（4）的姿态的计算机实现的方法，其中所述铰接对象模型（4）是由一个或多个源摄像机观察到的真实世界对象（14）的基于计算机的3D模型（1） （9），并且其中所述铰接对象模型（4）的姿态由所述铰接对象模型（4）的关节（2）的空间位置定义，包括以下步骤：从视频获得源图像（10） 流; 处理源图像（10）以提取源图像段（13）; 在数据库中维护一组参考轮廓，每个参考轮廓与铰接对象模型（4）和相应的参考姿势相关联; 将源图像段（13）与参考轮廓进行比较，并且通过考虑每个参考轮廓来选择参考轮廓，该匹配误差指示参考轮廓与源图像段（13）的匹配和/或相干误差 其指示参考姿势与从先前的源图像（10）估计的相同的真实世界对象（14）的姿态一致; 检索关节对象模型（4）的相应参考姿势; 以及从所选择的参考轮廓的参考姿势中计算所述铰接对象模型（4）的姿态的估计。

公开(公告)号：US20110175916A1

公开(公告)日：2011-07-21

申请号：US12843822

申请日：2010-07-26

申请人： Gioacchino Noris ,  Alexander Hornung ,  Robert Sumner ,  Maryann Simmons ,  Markus Gross

发明人： Gioacchino Noris ,  Alexander Hornung ,  Robert Sumner ,  Maryann Simmons ,  Markus Gross

IPC分类号： G06T11/20

CPC分类号： G06K9/481 ,  G06K9/00416

摘要： An animation system can vectorize an image by generating, from an input drawing, a dataset corresponding to vector and digital representations of the input drawing such that a rendering engine could render an image having features in common with the input drawing from the representations, as a collection of strokes and/or objects rather than merely a collection of pixels having pixel color values. A vectorizer might receive an input image, generate a particle clustering data structure from a digitization of the input image, generate a stroke list, wherein strokes in the stroke list correspond to clusters of particles represented in the particle clustering data structure, generate a graph structure that represents connections between strokes on the stroke list, and determine additional characteristics of a stroke beyond the path of the stroke, additional characteristics being stored such that they correspond to strokes. The strokes might be generated using global topology information.

摘要翻译： 动画系统可以通过从输入图形生成对应于输入图形的向量和数字表示的数据集来矢量化图像，使得渲染引擎可以从表示形式呈现具有与输入图形共同的特征的图像，作为 笔画和/或对象的集合，而不仅仅是具有像素颜色值的像素的集合。 向量化器可以接收输入图像，从输入图像的数字化生成粒子聚类数据结构，生成笔画列表，其中笔画列表中的笔画对应于在粒子聚类数据结构中表示的粒子簇，生成图形结构 其表示笔划列表上的笔画之间的连接，并且确定笔划的额外特征超出笔画的路径，附加特征被存储使得它们对应于笔画。 可以使用全局拓扑信息生成笔画。

公开(公告)号：US09025880B2

公开(公告)日：2015-05-05

申请号：US13598084

申请日：2012-08-29

申请人： Federico Perazzi ,  Alexander Hornung ,  Philipp Krähenbühl ,  Yael Pritch

发明人： Federico Perazzi ,  Alexander Hornung ,  Philipp Krähenbühl ,  Yael Pritch

IPC分类号： G06K9/46 ,  H04N19/117

CPC分类号： G06K9/4676 ,  G06K9/4652 ,  G06K9/4671 ,  G06K9/6212 ,  G06K9/6215 ,  G06T7/11 ,  G06T7/194 ,  G06T7/246 ,  G06T7/44 ,  G06T7/90 ,  G06T2207/10004 ,  G06T2207/10016 ,  G06T2207/10024 ,  H04N19/117

摘要： Methods and apparatus for visual saliency estimation for images and video are described. In an embodiment, a process includes decomposing, by a processor, an image into elements, wherein each element includes at least one pixel. The processor then calculates a first image measure indicative of each element's uniqueness in the image on a per element basis, and a second image measure indicative of each element's spatial distribution in the image on a per element basis. A per element saliency measure is provided by combining the first image measure and the second image measure, or by utilizing the first image measure, or by utilizing the second image measure.

摘要翻译： 描述了用于图像和视频的视觉显着性估计的方法和装置。 在一个实施例中，过程包括由处理器将图像分解为元素，其中每个元素包括至少一个像素。 然后，处理器计算指示每个元素基于每个元素的每个元素在图像中的唯一性的第一图像测量，以及基于每个元素的图像中的每个元素的空间分布的第二图像测量。 通过组合第一图像测量和第二图像测量，或通过利用第一图像测量，或通过利用第二图像测量来提供每个元素显着性度量。

公开(公告)号：US08885021B2

公开(公告)日：2014-11-11

申请号：US13347537

申请日：2012-01-10

申请人： Thomas Oskam ,  Alexander Hornung ,  Huw Bowles ,  Kenny Mitchell ,  Markus Gross

发明人： Thomas Oskam ,  Alexander Hornung ,  Huw Bowles ,  Kenny Mitchell ,  Markus Gross

IPC分类号： H04N13/00

CPC分类号： H04N13/111 ,  H04N13/128 ,  H04N13/332

摘要： A method is provided for an optimized stereoscopic camera with low processing overhead, especially suitable for real-time applications. By constructing a viewer-centric and scene-centric model, the mapping of scene depth to perceived depth may be defined as an optimization problem, for which a solution is analytically derived based on constraints to stereoscopic camera parameters including interaxial separation and convergence distance. The camera parameters may thus be constrained prior to rendering to maintain a desired perceived depth volume around a stereoscopic display, for example to ensure user comfort or provide artistic effects. To compensate for sudden scene depth changes due to unpredictable camera or object movements, as may occur with real-time applications such as video games, the constraints may also be temporally interpolated to maintain a linearly corrected and approximately constant perceived depth range over time.

摘要翻译： 为具有低处理开销的优化立体相机提供了一种方法，特别适用于实时应用。 通过构建以观众为中心和以场景为中心的模型，场景深度与感知深度的映射可以被定义为优化问题，基于对包括轴间分离和收敛距离的立体摄像机参数的约束，分析地导出解决方案。 因此，在渲染之前可以约束相机参数以在立体显示器周围保持期望的感知深度体积，例如以确保用户舒适度或提供艺术效果。 为了补偿由于不可预测的相机或物体移动引起的突发场景深度变化，如可能在诸如视频游戏的实时应用中可能发生的，约束也可以在时间上被内插以保持随时间的线性校正和近似恒定的感知深度范围。

公开(公告)号：US08717390B2

公开(公告)日：2014-05-06

申请号：US12552224

申请日：2009-09-01

申请人： Markus Gross ,  Alexander Hornung ,  Manuel Lang ,  Philipp Kraehenbuehl

发明人： Markus Gross ,  Alexander Hornung ,  Manuel Lang ,  Philipp Kraehenbuehl

IPC分类号： G09G5/00

CPC分类号： G06T3/0012

摘要： An integrated system and method for content-aware video retargeting. An interactive framework combines key frame-based constraint editing with numerous automatic algorithms for video analysis. This combination gives content producers a high level of control of the retargeting process. One component of the framework is a non-uniform, pixel-accurate warp to the target resolution that considers automatic as well as interactively-defined features. Automatic features comprise video saliency, edge preservation at the pixel resolution, and scene cut detection to enforce bilateral temporal coherence. Additional high level constraints can be added by the producer to achieve a consistent scene composition across arbitrary output formats. Advantageously, embodiments of the invention provide a better visual result for retargeted video when compared to using conventional techniques.

摘要翻译： 用于内容感知视频重定向的集成系统和方法。 交互式框架将基于关键帧的约束编辑与许多用于视频分析的自动算法相结合。 这种组合为内容制作者提供了重新定位过程的高度控制。 框架的一个组成部分是一个不均匀，像素精确的扭曲到目标分辨率，考虑到自动和交互式定义的特征。 自动功能包括视频显着性，像素分辨率的边缘保留，以及场景切割检测，以实现双向时间一致性。 制造商可以添加额外的高级限制，以实现任意输出格式的一致的场景组合。 有利的是，与使用常规技术相比，本发明的实施例为重新定向的视频提供了更好的视觉效果。

公开(公告)号：US08373802B1

公开(公告)日：2013-02-12

申请号：US12552226

申请日：2009-09-01

申请人： Markus Gross ,  Alexander Hornung ,  Manuel Lang ,  Philipp Kraehenbuehl

发明人： Markus Gross ,  Alexander Hornung ,  Manuel Lang ,  Philipp Kraehenbuehl

IPC分类号： H04N9/64

CPC分类号： G06T3/0012 ,  G06T3/4007 ,  G06T11/00 ,  G11B27/034

摘要： Techniques are provided for content-aware video retargeting. An interactive framework combines key frame-based constraint editing with numerous automatic algorithms for video analysis. This combination gives content producers a high level of control of the retargeting process. One component of the framework is a non-uniform, pixel-accurate warp to the target resolution that considers automatic as well as interactively-defined features. Automatic features comprise video saliency, edge preservation at the pixel resolution, and scene cut detection to enforce bilateral temporal coherence. Additional high level constraints can be added by the producer to achieve a consistent scene composition across arbitrary output formats. Advantageously, embodiments of the invention provide a better visual result for retargeted video when compared to using conventional techniques.

摘要翻译： 为内容感知视频重新定位提供了技术。 交互式框架将基于关键帧的约束编辑与许多用于视频分析的自动算法相结合。 这种组合为内容制作者提供了重新定位过程的高度控制。 框架的一个组成部分是一个不均匀，像素精确的扭曲到目标分辨率，考虑到自动和交互式定义的特征。 自动功能包括视频显着性，像素分辨率的边缘保留，以及场景切割检测，以实现双向时间一致性。 制造商可以添加额外的高级限制，以实现任意输出格式的一致的场景组合。 有利的是，与使用常规技术相比，本发明的实施例为重新定向的视频提供了更好的视觉效果。

公开(公告)号：US20110194024A1

公开(公告)日：2011-08-11

申请号：US12702195

申请日：2010-02-08

申请人： Nikolce STEFANOSKI ,  Aljosa SMOLIC ,  Yongzhe WANG ,  Manuel LANG ,  Alexander HORNUNG ,  Markus GROSS

发明人： Nikolce STEFANOSKI ,  Aljosa SMOLIC ,  Yongzhe WANG ,  Manuel LANG ,  Alexander HORNUNG ,  Markus GROSS

IPC分类号： H04N7/01

CPC分类号： H04N19/537 ,  H04N19/33 ,  H04N19/463

摘要： Systems, methods and articles of manufacture are disclosed for performing scalable video coding. In one embodiment, non-linear functions are used to predict source video data using retargeted video data. Differences may be determined between the predicted video data and the source video data. The retargeted video data, the non-linear functions, and the differences may be jointly encoded into a scalable bitstream. The scalable bitstream may be transmitted and selectively decoded to produce output video for one of a plurality of predefined target platforms.

摘要翻译： 公开了用于执行可缩放视频编码的系统，方法和制品。 在一个实施例中，使用非线性函数来使用重定向视频数据来预测源视频数据。 可以在预测的视频数据和源视频数据之间确定差异。 重定向视频数据，非线性函数和差异可以被联合编码为可分级比特流。 可扩展的比特流可以被传输并选择性地解码以产生多个预定目标平台之一的输出视频。