公开(公告)号：US08565485B2

公开(公告)日：2013-10-22

申请号：US13615269

申请日：2012-09-13

申请人： Robert Matthew Craig ,  Tommer Leyvand ,  Craig Peeper ,  Momin M. Al-Ghosien ,  Matt Bronder ,  Oliver Williams ,  Ryan M. Geiss ,  Jamie Daniel Joseph Shotton ,  Johnny Lee ,  Mark Finocchio

发明人： Robert Matthew Craig ,  Tommer Leyvand ,  Craig Peeper ,  Momin M. Al-Ghosien ,  Matt Bronder ,  Oliver Williams ,  Ryan M. Geiss ,  Jamie Daniel Joseph Shotton ,  Johnny Lee ,  Mark Finocchio

IPC分类号： G06K9/00 ,  H04N11/02

CPC分类号： G06K9/00335 ,  A63F13/428 ,  A63F2300/1006 ,  A63F2300/1093 ,  G06F3/011 ,  G06F3/033 ,  G06K9/00369 ,  G06T17/10 ,  G06T19/00

摘要： A method of tracking a target includes receiving from a source a depth image of a scene including the human subject. The depth image includes a depth for each of a plurality of pixels. The method further includes identifying pixels of the depth image that belong to the human subject and deriving from the identified pixels of the depth image one or more machine readable data structures representing the human subject as a body model including a plurality of shapes.

公开(公告)号：US08503720B2

公开(公告)日：2013-08-06

申请号：US12454628

申请日：2009-05-20

申请人： Jamie Daniel Joseph Shotton ,  Andrew William Fitzgibbon

发明人： Jamie Daniel Joseph Shotton ,  Andrew William Fitzgibbon

IPC分类号： G06K9/00

CPC分类号： G06K9/00335 ,  G06F3/017 ,  G06K9/00369 ,  G06T7/50 ,  G06T2207/10028 ,  G06T2207/20076 ,  G06T2207/30196

摘要： Techniques for human body pose estimation are disclosed herein. Depth map images from a depth camera may be processed to calculate a probability that each pixel of the depth map is associated with one or more segments or body parts of a body. Body parts may then be constructed of the pixels and processed to define joints or nodes of those body parts. The nodes or joints may be provided to a system which may construct a model of the body from the various nodes or joints.

摘要翻译： 本文公开了人体姿势估计技术。 可以处理来自深度相机的深度地图图像以计算深度图的每个像素与身体的一个或多个片段或身体部分相关联的概率。 身体部位然后可以由像素构造并被处理以限定那些身体部位的关节或节点。 节点或接头可以被提供给可以从各种节点或关节构造身体的模型的系统。

公开(公告)号：US20130129230A1

公开(公告)日：2013-05-23

申请号：US13300542

申请日：2011-11-18

申请人： Jamie Daniel Joseph Shotton ,  Andrew William Fitzgibbon ,  Jonathan James Taylor ,  Matthew Darius Cook

发明人： Jamie Daniel Joseph Shotton ,  Andrew William Fitzgibbon ,  Jonathan James Taylor ,  Matthew Darius Cook

IPC分类号： G06K9/68

CPC分类号： G06K9/00214 ,  G06T7/75 ,  G06T17/00

摘要： Computing pose and/or shape of a modifiable entity is described. In various embodiments a model of an entity (such as a human hand, a golf player holding a golf club, an animal, a body organ) is fitted to an image depicting an example of the entity in a particular pose and shape. In examples, an optimization process finds values of pose and/or shape parameters that when applied to the model explain the image data well. In examples the optimization process is influenced by correspondences between image elements and model points obtained from a regression engine where the regression engine may be a random decision forest. For example, the random decision forest may take elements of the image and calculate candidate correspondences between those image elements and model points. In examples the model, pose and correspondences may be used for control of various applications including computer games, medical systems, augmented reality.

摘要翻译： 描述可修改实体的计算姿势和/或形状。 在各种实施例中，将实体（诸如人的手，持有高尔夫球杆，高尔夫球杆，动物，身体器官的高尔夫球手）的模型安装在描绘特定姿势和形状的实体的示例的图像上。 在示例中，优化过程找到姿态和/或形状参数的值，当应用于模型时，可以很好地解释图像数据。 在示例中，优化过程受图像元素和从回归引擎获得的模型点之间的对应性的影响，回归引擎可以是随机决策树。 例如，随机决策树可以采用图像的元素，并计算这些图像元素和模型点之间的候选对应关系。 在示例中，模型，姿态和对应可以用于控制各种应用，包括计算机游戏，医疗系统，增强现实。

公开(公告)号：US20120269407A1

公开(公告)日：2012-10-25

申请号：US13090108

申请日：2011-04-19

申请人： Antonio CRIMINISI ,  Jamie Daniel Joseph SHOTTON ,  Duncan Paul ROBERTSON ,  Sayan D. PATHAK ,  Steven James WHITE ,  Khan Mohammed SIDDIQUI

发明人： Antonio CRIMINISI ,  Jamie Daniel Joseph SHOTTON ,  Duncan Paul ROBERTSON ,  Sayan D. PATHAK ,  Steven James WHITE ,  Khan Mohammed SIDDIQUI

IPC分类号： G06K9/00

CPC分类号： G06T7/0048 ,  G06K2209/051 ,  G06T7/77 ,  G06T2207/10072 ,  G06T2207/20076 ,  G06T2207/20081 ,  G06T2207/30004

摘要： Automatic organ localization is described. In an example, an organ in a medical image is localized using one or more trained regression trees. Each image element of the medical image is applied to the trained regression trees to compute probability distributions that relate to a distance from each image element to the organ. At least a subset of the probability distributions are selected and aggregated to calculate a localization estimate for the organ. In another example, the regression trees are trained using training images having a predefined organ location. At each node of the tree, test parameters are generated that determine which subsequent node each training image element is passed to. This is repeated until each image element reaches a leaf node of the tree. A probability distribution is generated and stored at each leaf node, based on the distance from the leaf node's image elements to the organ.

摘要翻译： 描述自动器官定位。 在一个示例中，使用一个或多个经过训练的回归树将医学图像中的器官定位。 将医学图像的每个图像元素应用于经过训练的回归树，以计算与从每个图像元素到器官的距离相关的概率分布。 选择和聚合概率分布的至少一个子集以计算器官的定位估计。 在另一示例中，使用具有预定义的器官位置的训练图像来训练回归树。 在树的每个节点，生成测试参数，确定每个训练图像元素传递到哪个后续节点。 这是重复的，直到每个图像元素到达树的叶节点。 基于从叶节点的图像元素到器官的距离，在每个叶节点处生成并存储概率分布。

公开(公告)号：US20120219209A1

公开(公告)日：2012-08-30

申请号：US13034989

申请日：2011-02-25

申请人： Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Blake ,  Inmar-Ella Givoni

发明人： Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Blake ,  Inmar-Ella Givoni

IPC分类号： G06K9/34 ,  G06K9/62

CPC分类号： A63F13/42 ,  A63F13/06 ,  A63F13/213 ,  A63F2300/1012 ,  A63F2300/1087 ,  A63F2300/6045 ,  A63F2300/8011 ,  A63F2300/8029 ,  G06K9/00335 ,  G06K9/42 ,  G06K9/62 ,  G06T7/70 ,  G06T2207/30196

摘要： Image labeling with global parameters is described. In an embodiment a pose estimation system executes automatic body part labeling. For example, the system may compute joint recognition or body part segmentation for a gaming application. In another example, the system may compute organ labels for a medical imaging application. In an example, at least one global parameter, for example body height is computed for each of the images to be labeled. In an example, the global parameter is used to modify an image labeling process. For example the global parameter may be used to modify the input image to a canonical scale. In another example, the global parameter may be used to adaptively modify previously stored parameters of the image labeling process. In an example, the previously stored parameters may be computed from a reduced set of training data.

摘要翻译： 描述了具有全局参数的图像标记。 在一个实施例中，姿态估计系统执行自动身体部位标签。 例如，该系统可以计算用于游戏应用的联合识别或身体部分分割。 在另一示例中，系统可以计算医学成像应用的器官标签。 在一个示例中，为要标记的每个图像计算至少一个全局参数，例如身高。 在一个示例中，全局参数用于修改图像标记过程。 例如，全局参数可用于将输入图像修改为规范。 在另一示例中，全局参数可用于自适应地修改图像标记过程的先前存储的参数。 在一个示例中，可以从减少的训练数据集计算先前存储的参数。

公开(公告)号：US20120194644A1

公开(公告)日：2012-08-02

申请号：US13017474

申请日：2011-01-31

申请人： Richard Newcombe ,  Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Richard Newcombe ,  Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： H04N5/225

CPC分类号： G06T7/20 ,  G06T7/74 ,  G06T2207/10016 ,  G06T2207/10021 ,  G06T2207/10024 ,  G06T2207/10028 ,  G06T2207/30244

摘要： Mobile camera localization using depth maps is described for robotics, immersive gaming, augmented reality and other applications. In an embodiment a mobile depth camera is tracked in an environment at the same time as a 3D model of the environment is formed using the sensed depth data. In an embodiment, when camera tracking fails, this is detected and the camera is relocalized either by using previously gathered keyframes or in other ways. In an embodiment, loop closures are detected in which the mobile camera revisits a location, by comparing features of a current depth map with the 3D model in real time. In embodiments the detected loop closures are used to improve the consistency and accuracy of the 3D model of the environment.

摘要翻译： 使用深度图的移动摄像机定位被描述为机器人，沉浸式游戏，增强现实和其他应用。 在一个实施例中，移动深度相机在环境中跟踪，同时使用感测的深度数据形成环境的3D模型。 在一个实施例中，当相机跟踪失败时，检测到该相机并且通过使用先前收集的关键帧或以其它方式来重新定位相机。 在一个实施例中，通过将当前深度图与3D模型的特征实时比较，检测到环路闭合，其中移动摄像机重新访问位置。 在实施例中，检测到的环路闭合用于改善环境的3D模型的一致性和准确性。

公开(公告)号：US08571263B2

公开(公告)日：2013-10-29

申请号：US13050858

申请日：2011-03-17

申请人： Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Ross Brook Girshick ,  Andrew Fitzgibbon ,  Antonio Criminisi

发明人： Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Ross Brook Girshick ,  Andrew Fitzgibbon ,  Antonio Criminisi

IPC分类号： G06K9/00

CPC分类号： G06F3/017 ,  G06K9/00362 ,  G06N5/025

摘要： Predicting joint positions is described, for example, to find joint positions of humans or animals (or parts thereof) in an image to control a computer game or for other applications. In an embodiment image elements of a depth image make joint position votes so that for example, an image element depicting part of a torso may vote for a position of a neck joint, a left knee joint and a right knee joint. A random decision forest may be trained to enable image elements to vote for the positions of one or more joints and the training process may use training images of bodies with specified joint positions. In an example a joint position vote is expressed as a vector representing a distance and a direction of a joint position from an image element making the vote. The random decision forest may be trained using a mixture of objectives.

摘要翻译： 例如，描述关节位置的描述是为了在图像中找到人或动物（或其部分）的联合位置，以控制计算机游戏或用于其他应用。 在一个实施例中，深度图像的图像元素进行联合位置投票，使得例如描绘躯干的一部分的图像元素可以投射颈部关节，左膝关节和右膝关节的位置。 可以对随机决策林进行训练，以使图像元素能够对一个或多个关节的位置进行投票，并且训练过程可以使用具有指定关节位置的身体的训练图像。 在一个例子中，联合立场表决被表示为表示从投票的图像元素的联合位置的距离和方向的向量。 可以使用目标混合来训练随机决策林。

公开(公告)号：US08401225B2

公开(公告)日：2013-03-19

申请号：US13017626

申请日：2011-01-31

申请人： Richard Newcombe ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Richard Newcombe ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： G06K9/00

CPC分类号： G06T7/215 ,  G06T7/194 ,  G06T2207/10028 ,  G06T2207/30244

摘要： Moving object segmentation using depth images is described. In an example, a moving object is segmented from the background of a depth image of a scene received from a mobile depth camera. A previous depth image of the scene is retrieved, and compared to the current depth image using an iterative closest point algorithm. The iterative closest point algorithm includes a determination of a set of points that correspond between the current depth image and the previous depth image. During the determination of the set of points, one or more outlying points are detected that do not correspond between the two depth images, and the image elements at these outlying points are labeled as belonging to the moving object. In examples, the iterative closest point algorithm is executed as part of an algorithm for tracking the mobile depth camera, and hence the segmentation does not add substantial additional computational complexity.

摘要翻译： 描述使用深度图像来移动物体分割。 在一个示例中，从从移动深度相机接收的场景的深度图像的背景中分割移动物体。 检索场景的先前深度图像，并使用迭代最近点算法与当前深度图像进行比较。 迭代最近点算法包括对当前深度图像和先前深度图像之间对应的一组点的确定。 在确定点集合期间，检测到一个或多个在两个深度图像之间不对应的离开点，并且将这些离散点处的图像元素标记为属于移动对象。 在示例中，迭代最近点算法作为用于跟踪移动深度相机的算法的一部分被执行，因此分割不会增加实质的额外的计算复杂度。

公开(公告)号：US08239336B2

公开(公告)日：2012-08-07

申请号：US12400388

申请日：2009-03-09

申请人： Nicolas Le Roux ,  John Winn ,  Jamie Daniel Joseph Shotton

发明人： Nicolas Le Roux ,  John Winn ,  Jamie Daniel Joseph Shotton

IPC分类号： G06F15/78

CPC分类号： G06N3/08

摘要： Data processing using restricted Boltzmann machines is described, for example, to pre-process continuous data and provide binary outputs. In embodiments, restricted Boltzmann machines based on either Gaussian distributions or Beta distributions are described which are able to learn and model both the mean and variance of data. In some embodiments, a stack of restricted Boltzmann machines are connected in series with outputs of one restricted Boltzmann machine providing input to the next in the stack and so on. Embodiments describe how training for each machine in the stack may be carried out efficiently and the combined system used for one of a variety of applications such as data compression, object recognition, image processing, information retrieval, data analysis and the like.

摘要翻译： 例如，使用限制玻尔兹曼机器的数据处理被描述为预处理连续数据并提供二进制输出。 在实施例中，描述了基于高斯分布或Beta分布的限制Boltzmann机器，其能够学习和模拟数据的均值和方差。 在一些实施例中，一组受限制的波尔兹曼机器与一个限制波尔兹曼机器的输出串联连接，从而向堆叠中的下一个提供输入等等。 实施例描述了如何有效地执行堆叠中的每个机器的训练，以及用于诸如数据压缩，对象识别，图像处理，信息检索，数据分析等的各种应用之一的组合系统。

公开(公告)号：US20100278384A1

公开(公告)日：2010-11-04

申请号：US12454628

申请日：2009-05-20

申请人： Jamie Daniel Joseph Shotton ,  Andrew William Fitzgibbon

发明人： Jamie Daniel Joseph Shotton ,  Andrew William Fitzgibbon

IPC分类号： G06K9/00 ,  G06K9/46

CPC分类号： G06K9/00335 ,  G06F3/017 ,  G06K9/00369 ,  G06T7/50 ,  G06T2207/10028 ,  G06T2207/20076 ,  G06T2207/30196

摘要： Techniques for human body pose estimation are disclosed herein. Depth map images from a depth camera may be processed to calculate a probability that each pixel of the depth map is associated with one or more segments or body parts of a body. Body parts may then be constructed of the pixels and processed to define joints or nodes of those body parts. The nodes or joints may be provided to a system which may construct a model of the body from the various nodes or joints.

摘要翻译： 本文公开了人体姿势估计技术。 可以处理来自深度相机的深度地图图像以计算深度图的每个像素与身体的一个或多个片段或身体部分相关联的概率。 身体部位然后可以由像素构造并被处理以限定那些身体部位的关节或节点。 节点或接头可以被提供给可以从各种节点或关节构造身体的模型的系统。