公开(公告)号：US08436852B2

公开(公告)日：2013-05-07

申请号：US12367675

申请日：2009-02-09

申请人： Antonio Criminisi ,  Carsten Rother ,  Gavin Smyth ,  Amit Shesh

发明人： Antonio Criminisi ,  Carsten Rother ,  Gavin Smyth ,  Amit Shesh

IPC分类号： G06T15/00

CPC分类号： G06T15/20 ,  G06T19/20 ,  G06T2200/24

摘要： Image editing which is consistent with geometry of a scene depicted in the image is described. In an embodiment a graphical user interface (GUI) is provided to enable a user to simply and quickly specify four corners of a rectangular frame drawn onto a source image using the GUI. In embodiments, the four corners are used to compute parameters of a virtual camera assumed to capture the image of the drawn frame. Embodiments of an image processing system are described which use the virtual camera parameters to control editing of the source image in ways consistent with the 3D geometry of the scene depicted in that image. In some embodiments out of bounds images are formed and/or realistic-looking shadows are synthesized. In examples, users are able to edit images and the virtual camera parameters are dynamically recomputed and used to update the edited image.

摘要翻译： 描述与图像中描绘的场景的几何图形一致的图像编辑。 在一个实施例中，提供图形用户界面（GUI）以使用户能够使用GUI简单快速地指定绘制到源图像上的矩形框架的四个角。 在实施例中，四个角用于计算假定捕获所绘制的帧的图像的虚拟相机的参数。 描述了图像处理系统的实施例，其使用虚拟相机参数来以与该图像中描绘的场景的3D几何形状一致的方式来控制源图像的编辑。 在一些实施例中，形成图像外的图像和/或逼真的阴影被合成。 在示例中，用户能够编辑图像，虚拟相机参数被动态重新计算并用于更新编辑的图像。

公开(公告)号：US07840059B2

公开(公告)日：2010-11-23

申请号：US11534019

申请日：2006-09-21

申请人： John Winn ,  Carsten Rother ,  Antonio Criminisi ,  Jamie Shotton

发明人： John Winn ,  Carsten Rother ,  Antonio Criminisi ,  Jamie Shotton

IPC分类号： G06K9/62

CPC分类号： G06K9/3233 ,  G06K9/4604

摘要： Given an image of structured and/or unstructured objects we automatically partition it into semantically meaningful areas each labeled with a specific object class. We use a novel type of feature which we refer to as a shape filter. Shape filters enable us to capture some or all of shape, texture and appearance context information. A shape filter comprises one or more regions of arbitrary shape, size and position within a bounding area of an image, paired with a specified texton. A texton comprises information describing the texture of a patch of surface of an object. In a training process we select a sub-set of possible shape filters and incorporate those into a conditional random field model of object classes. That model is then used for object detection and recognition.

摘要翻译： 给定结构化和/或非结构化对象的图像，我们自动将其划分为语义有意义的区域，每个区域都标有特定的对象类。 我们使用一种我们称为形状滤波器的新型特征。 形状过滤器使我们能够捕获部分或全部形状，纹理和外观上下文信息。 形状滤波器包括在图像的边界区域内的任意形状，大小和位置的一个或多个区域，与指定的文本配对。 文本包括描述对象的表面的纹理的信息。 在训练过程中，我们选择可能的形状过滤器的子集，并将其合并到对象类的条件随机场模型中。 然后将该模型用于对象检测和识别。

公开(公告)号：US20100201681A1

公开(公告)日：2010-08-12

申请号：US12367675

申请日：2009-02-09

申请人： Antonio Criminisi ,  Carsten Rother ,  Gavin Smyth ,  Amit Shesh

发明人： Antonio Criminisi ,  Carsten Rother ,  Gavin Smyth ,  Amit Shesh

IPC分类号： G06T15/00 ,  G09G5/00

CPC分类号： G06T15/20 ,  G06T19/20 ,  G06T2200/24

摘要： Image editing which is consistent with geometry of a scene depicted in the image is described. In an embodiment a graphical user interface (GUI) is provided to enable a user to simply and quickly specify four corners of a rectangular frame drawn onto a source image using the GUI. In embodiments, the four corners are used to compute parameters of a virtual camera assumed to capture the image of the drawn frame. Embodiments of an image processing system are described which use the virtual camera parameters to control editing of the source image in ways consistent with the 3D geometry of the scene depicted in that image. In some embodiments out of bounds images are formed and/or realistic-looking shadows are synthesized. In examples, users are able to edit images and the virtual camera parameters are dynamically recomputed and used to update the edited image.

摘要翻译： 描述与图像中描绘的场景的几何图形一致的图像编辑。 在一个实施例中，提供图形用户界面（GUI）以使用户能够使用GUI简单快速地指定绘制到源图像上的矩形框架的四个角。 在实施例中，四个角用于计算假定捕获所绘制的帧的图像的虚拟相机的参数。 描述了图像处理系统的实施例，其使用虚拟相机参数来以与该图像中描绘的场景的3D几何形状一致的方式来控制源图像的编辑。 在一些实施例中，形成图像外的图像和/或逼真的阴影被合成。 在示例中，用户能够编辑图像，虚拟相机参数被动态重新计算并用于更新编辑的图像。

公开(公告)号：US20070031037A1

公开(公告)日：2007-02-08

申请号：US11195027

申请日：2005-08-02

申请人： Andrew Blake ,  Antonio Criminisi ,  Geoffrey Cross ,  Vladimir Kolmogorov ,  Carsten Rother

发明人： Andrew Blake ,  Antonio Criminisi ,  Geoffrey Cross ,  Vladimir Kolmogorov ,  Carsten Rother

IPC分类号： G06K9/34 ,  G06K9/00

CPC分类号： G06K9/00234 ,  G06K9/342 ,  G06K9/38 ,  G06K9/4652 ,  G06T7/11 ,  G06T7/162 ,  G06T7/194 ,  G06T2207/10021 ,  G06T2207/10024 ,  G06T2207/20072

摘要： Real-time segmentation of foreground from background layers in binocular video sequences may be provided by a segmentation process which may be based on one or more factors including likelihoods for stereo-matching, color, and optionally contrast, which may be fused to infer foreground and/or background layers accurately and efficiently. In one example, the stereo image may be segmented into foreground, background, and/or occluded regions using stereo disparities. The stereo-match likelihood may be fused with a contrast sensitive color model that is initialized or learned from training data. Segmentation may then be solved by an optimization algorithm such as dynamic programming or graph cut. In a second example, the stereo-match likelihood may be marginalized over foreground and background hypotheses, and fused with a contrast-sensitive color model that is initialized or learned from training data. Segmentation may then be solved by an optimization algorithm such as a binary graph cut.

摘要翻译： 可以通过分割过程来提供来自双目视频序列中的背景层的前景的实时分割，分割过程可以基于一个或多个因素，包括立体匹配，颜色和可选对比的可能性，其可以融合到推断前景和 /或背景层准确高效。 在一个示例中，立体图像可以使用立体声差异被分割成前景，背景和/或遮挡区域。 立体匹配似然率可以与从训练数据初始化或学习的对比度敏感颜色模型融合。 然后可以通过诸如动态规划或图形切割的优化算法来解决分割。 在第二个例子中，立体匹配似然度在前景和背景假设上可能被边缘化，并且与从训练数据初始化或学习的对比度敏感颜色模型融合。 然后可以通过诸如二进制图切割的优化算法来解决分割。

公开(公告)号：US08571263B2

公开(公告)日：2013-10-29

申请号：US13050858

申请日：2011-03-17

申请人： Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Ross Brook Girshick ,  Andrew Fitzgibbon ,  Antonio Criminisi

发明人： Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Ross Brook Girshick ,  Andrew Fitzgibbon ,  Antonio Criminisi

IPC分类号： G06K9/00

CPC分类号： G06F3/017 ,  G06K9/00362 ,  G06N5/025

摘要： Predicting joint positions is described, for example, to find joint positions of humans or animals (or parts thereof) in an image to control a computer game or for other applications. In an embodiment image elements of a depth image make joint position votes so that for example, an image element depicting part of a torso may vote for a position of a neck joint, a left knee joint and a right knee joint. A random decision forest may be trained to enable image elements to vote for the positions of one or more joints and the training process may use training images of bodies with specified joint positions. In an example a joint position vote is expressed as a vector representing a distance and a direction of a joint position from an image element making the vote. The random decision forest may be trained using a mixture of objectives.

摘要翻译： 例如，描述关节位置的描述是为了在图像中找到人或动物（或其部分）的联合位置，以控制计算机游戏或用于其他应用。 在一个实施例中，深度图像的图像元素进行联合位置投票，使得例如描绘躯干的一部分的图像元素可以投射颈部关节，左膝关节和右膝关节的位置。 可以对随机决策林进行训练，以使图像元素能够对一个或多个关节的位置进行投票，并且训练过程可以使用具有指定关节位置的身体的训练图像。 在一个例子中，联合立场表决被表示为表示从投票的图像元素的联合位置的距离和方向的向量。 可以使用目标混合来训练随机决策林。

公开(公告)号：US08351654B2

公开(公告)日：2013-01-08

申请号：US12431421

申请日：2009-04-28

申请人： Antonio Criminisi ,  Toby Sharp

发明人： Antonio Criminisi ,  Toby Sharp

IPC分类号： G06K9/00 ,  E04B7/08

CPC分类号： G06K9/6215 ,  G06T11/001

摘要： Image processing using geodesic forests is described. In an example, a geodesic forest engine determines geodesic shortest-path distances between each image element and a seed region specified in the image in order to form a geodesic forest data structure. The geodesic distances take into account gradients in the image of a given image modality such as intensity, color, or other modality. In some embodiments, a 1D processing engine carries out 1D processing along the branches of trees in the geodesic forest data structure to form a processed image. For example, effects such as ink painting, edge-aware texture flattening, contrast-aware image editing, forming animations using geodesic forests and other effects are achieved using the geodesic forest data structure. In some embodiments the geodesic forest engine uses a four-part raster scan process to achieve real-time processing speeds and parallelization is possible in many of the embodiments.

摘要翻译： 描述了使用测地森林进行图像处理。 在一个示例中，测地森林引擎确定每个图像元素与图像中指定的种子区域之间的测距最短路径距离，以形成测地森林数据结构。 测距距离考虑了给定图像形态（如强度，颜色或其他形式）图像中的渐变。 在一些实施例中，1D处理引擎沿着测地森林数据结构中的树的分支执行1D处理，以形成经处理的图像。 例如，使用测地森林数据结构实现诸如水墨绘画，边缘感知纹理平整，对比度感知图像编辑，使用测地森林形成动画等效果。 在一些实施例中，测地森林引擎使用四部分光栅扫描过程来实现实时处理速度，并且在许多实施例中并行化是可能的。

公开(公告)号：US20120166462A1

公开(公告)日：2012-06-28

申请号：US12979362

申请日：2010-12-28

申请人： Sayan D. Pathak ,  Antonio Criminisi ,  Steven J. White ,  Liqun Fu ,  Khan M. Siddiqui ,  Toby Sharp ,  Ender Konukoglu ,  Bryan Dove ,  Michael T. Gillam

发明人： Sayan D. Pathak ,  Antonio Criminisi ,  Steven J. White ,  Liqun Fu ,  Khan M. Siddiqui ,  Toby Sharp ,  Ender Konukoglu ,  Bryan Dove ,  Michael T. Gillam

IPC分类号： G06F17/30 ,  G06F3/048

CPC分类号： G06F3/04845 ,  G06F3/04842 ,  G06F9/451 ,  G06F19/321 ,  G16H15/00 ,  G16H40/63

摘要： The present discussion relates to automated image data processing and visualization. One example can facilitate generating a graphical user-interface (GUI) from image data that includes multiple semantically-labeled user-selectable anatomical structures. This example can receive a user selection of an individual semantically-labeled user-selectable anatomical structure. The example can locate a sub-set of the image data associated with the individual semantically-labeled user-selectable anatomical structure and can cause presentation of the sub-set of the image data on a subsequent GUI.

摘要翻译： 本发明涉及自动图像数据处理和可视化。 一个示例可以有助于从包括多个语义标记的用户可选解剖结构的图像数据生成图形用户界面（GUI）。 该示例可以接收用户选择单个语义标记的用户可选择的解剖结构。 该示例可以定位与单独的语义标记的用户可选择的解剖结构相关联的图像数据的子集，并且可以在随后的GUI上引起图像数据的子集的呈现。

公开(公告)号：US08103109B2

公开(公告)日：2012-01-24

申请号：US11765264

申请日：2007-06-19

申请人： John Winn ,  Antonio Criminisi ,  Ankur Agarwal ,  Thomas Deselaers

发明人： John Winn ,  Antonio Criminisi ,  Ankur Agarwal ,  Thomas Deselaers

IPC分类号： G06K9/62

CPC分类号： G06K9/00355 ,  G06F3/017 ,  G06F3/0425 ,  G06K9/6282

摘要： There is a need to provide simple, accurate, fast and computationally inexpensive methods of object and hand pose recognition for many applications. For example, to enable a user to make use of his or her hands to drive an application either displayed on a tablet screen or projected onto a table top. There is also a need to be able to discriminate accurately between events when a user's hand or digit touches such a display from events when a user's hand or digit hovers just above that display. A random decision forest is trained to enable recognition of hand poses and objects and optionally also whether those hand poses are touching or not touching a display surface. The random decision forest uses image features such as appearance, shape and optionally stereo image features. In some cases, the training process is cost aware. The resulting recognition system is operable in real-time.

摘要翻译： 需要为许多应用提供简单，准确，快速和计算上便宜的对象和手姿态识别方法。 例如，为了使用户能够利用他或她的手来驱动显示在平板电脑屏幕上或投影到桌面上的应用程序。 当用户的手或数字在该显示器的正上方移动时，当用户的手或数字触发这样的显示时，还需要能够精确地区分事件之间的事件。 训练随机决策林以识别手姿势和物体，并且还可以选择性地确定那些手姿势是触摸还是不接触显示表面。 随机决策林使用图像特征，如外观，形状和可选的立体图像特征。 在某些情况下，培训过程是意识到成本。 所得到的识别系统可以实时操作。

公开(公告)号：US20110141121A1

公开(公告)日：2011-06-16

申请号：US12635861

申请日：2009-12-11

申请人： Toby Sharp ,  Antonio Criminisi

发明人： Toby Sharp ,  Antonio Criminisi

IPC分类号： G06F15/80

CPC分类号： G06T17/10 ,  A63F2300/1087 ,  G06F17/10 ,  G06T5/30 ,  G06T2207/20041

摘要： Parallel processing for distance transforms is described. In an embodiment a raster scan algorithm is used to compute a distance transform such that each image element of a distance image is assigned a distance value. This distance value is a shortest distance from the image element to the seed region. In an embodiment two threads execute in parallel with a first thread carrying out a forward raster scan over the distance image and a second thread carrying out a backward raster scan over the image. In an example, a thread pauses when a cross-over condition is met until the other thread meets the condition after which both threads continue. In embodiments distances may be computed in Euclidean space or along geodesics defined on a surface. In an example, four threads execute two passes in parallel with each thread carrying out a raster scan over a different quarter of the image.

摘要翻译： 描述了距离变换的并行处理。 在一个实施例中，光栅扫描算法用于计算距离变换，使得距离图像的每个图像元素被分配距离值。 该距离值是从图像元素到种子区域的最短距离。 在一个实施例中，两个线程与第一线程并行执行，该第一线程在距离图像上执行正向光栅扫描，而第二线程在图像上执行向后光栅扫描。 在一个示例中，当满足交叉条件时，线程将暂停，直到另一个线程满足两个线程继续的条件为止。 在实施例中，距离可以在欧氏距离空间中或沿着表面上定义的测地线计算。 在一个示例中，四个线程与在每个图像的不同四分之一处执行光栅扫描的每个线程并行执行两个遍。

公开(公告)号：US20090290795A1

公开(公告)日：2009-11-26

申请号：US12126302

申请日：2008-05-23

申请人： Antonio Criminisi ,  Toby Sharp

发明人： Antonio Criminisi ,  Toby Sharp

IPC分类号： G06K9/34

CPC分类号： G06T5/002 ,  G06K9/342 ,  G06T7/11 ,  G06T7/155 ,  G06T2207/10016 ,  G06T2207/30212

摘要： A method of geodesic image and video processing is proposed. In an embodiment, the method uses a geodesic distance transform to construct an image filter. The filter can be used in a variety of image editing operations such as segmentation, denoising, texture smoothing, image stitching and cartooning. In one embodiment, the method may be made efficient by utilizing parallelism of the algorithm to carry out processing steps on at least two processing cores concurrently. This efficiency may enable high-resolution images and video to be processed at ‘real time’ rates without the need for specialist hardware.

摘要翻译： 提出了一种测地图像和视频处理方法。 在一个实施例中，该方法使用测地距离变换来构造图像滤波器。 滤镜可用于各种图像编辑操作，如分割，去噪，纹理平滑，图像拼接和卡通。 在一个实施例中，可以通过利用算法的并行性来同时对至少两个处理核执行处理步骤来使该方法有效。 这种效率可以使得高分辨率图像和视频以“实时”速率被处理，而不需要专用硬件。