公开(公告)号：US08660303B2

公开(公告)日：2014-02-25

申请号：US12972837

申请日：2010-12-20

申请人： Shahram Izadi ,  Jamie Shotton ,  John Winn ,  Antonio Criminisi ,  Otmar Hilliges ,  Mat Cook ,  David Molyneaux

发明人： Shahram Izadi ,  Jamie Shotton ,  John Winn ,  Antonio Criminisi ,  Otmar Hilliges ,  Mat Cook ,  David Molyneaux

IPC分类号： G06K9/00 ,  G06K9/62 ,  G06K9/36

CPC分类号： G06K9/00369

摘要： A system and method for detecting and tracking targets including body parts and props is described. In one aspect, the disclosed technology acquires one or more depth images, generates one or more classification maps associated with one or more body parts and one or more props, tracks the one or more body parts using a skeletal tracking system, tracks the one or more props using a prop tracking system, and reports metrics regarding the one or more body parts and the one or more props. In some embodiments, feedback may occur between the skeletal tracking system and the prop tracking system.

摘要翻译： 描述了用于检测和跟踪包括身体部位和道具的目标的系统和方法。 在一个方面，所公开的技术获取一个或多个深度图像，生成与一个或多个身体部位和一个或多个道具相关联的一个或多个分类图，使用骨骼跟踪系统跟踪一个或多个身体部位， 使用道具跟踪系统的更多道具，并且报告关于一个或多个身体部位和一个或多个道具的指标。 在一些实施例中，可以在骨骼跟踪系统和支架跟踪系统之间进行反馈。

公开(公告)号：US08638985B2

公开(公告)日：2014-01-28

申请号：US13040205

申请日：2011-03-03

申请人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Geoffrey Molyneaux ,  Matthew Darius Cook ,  Pushmeet Kohli ,  Antonio Criminisi ,  Ross Brook Girshick ,  Andrew William Fitzgibbon

发明人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Geoffrey Molyneaux ,  Matthew Darius Cook ,  Pushmeet Kohli ,  Antonio Criminisi ,  Ross Brook Girshick ,  Andrew William Fitzgibbon

IPC分类号： G06K9/00

CPC分类号： G06K9/00369

摘要： Techniques for human body pose estimation are disclosed herein. Images such as depth images, silhouette images, or volumetric images may be generated and pixels or voxels of the images may be identified. The techniques may process the pixels or voxels to determine a probability that each pixel or voxel is associated with a segment of a body captured in the image or to determine a three-dimensional representation for each pixel or voxel that is associated with a location on a canonical body. These probabilities or three-dimensional representations may then be utilized along with the images to construct a posed model of the body captured in the image.

摘要翻译： 本文公开了人体姿势估计技术。 可以生成诸如深度图像，剪影图像或体积图像的图像，并且可以识别图像的像素或体素。 这些技术可以处理像素或体素以确定每个像素或体素与在图像中捕获的身体的片段相关联的概率，或者确定与每个像素或体素上的位置相关联的每个像素或体素的三维表示 规范身体。 然后可以将这些概率或三维表示与图像一起使用以构建在图像中捕获的身体的姿态模型。

公开(公告)号：US20120306850A1

公开(公告)日：2012-12-06

申请号：US13152220

申请日：2011-06-02

申请人： Alexandru Balan ,  Jason Flaks ,  Steve Hodges ,  Michael Isard ,  Oliver Williams ,  Paul Barham ,  Shahram Izadi ,  Otmar Hilliges ,  David Molyneaux ,  David Kim

发明人： Alexandru Balan ,  Jason Flaks ,  Steve Hodges ,  Michael Isard ,  Oliver Williams ,  Paul Barham ,  Shahram Izadi ,  Otmar Hilliges ,  David Molyneaux ,  David Kim

IPC分类号： G06T15/00 ,  G09G5/00

CPC分类号： G06T19/006 ,  G06F3/005 ,  G06F3/0304 ,  G09G3/003 ,  G09G2340/12 ,  G09G2340/125 ,  G09G2340/14 ,  G09G2354/00

摘要： A system and method for providing an augmented reality environment in which the environmental mapping process is decoupled from the localization processes performed by one or more mobile devices is described. In some embodiments, an augmented reality system includes a mapping system with independent sensing devices for mapping a particular real-world environment and one or more mobile devices. Each of the one or more mobile devices utilizes a separate asynchronous computing pipeline for localizing the mobile device and rendering virtual objects from a point of view of the mobile device. This distributed approach provides an efficient way for supporting mapping and localization processes for a large number of mobile devices, which are typically constrained by form factor and battery life limitations.

摘要翻译： 描述了一种用于提供增强现实环境的系统和方法，其中环境映射过程与由一个或多个移动设备执行的定位处理分离。 在一些实施例中，增强现实系统包括具有用于映射特定现实世界环境和一个或多个移动设备的独立感测设备的映射系统。 一个或多个移动设备中的每一个利用单独的异步计算流水线来定位移动设备并从移动设备的角度呈现虚拟对象。 这种分布式方法提供了一种有效的方式来支持大量移动设备的映射和定位过程，这些移动设备通常受形状因素和电池寿命限制的限制。

公开(公告)号：US20120117514A1

公开(公告)日：2012-05-10

申请号：US12939891

申请日：2010-11-04

申请人： David Kim ,  Otmar Hilliges ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges

发明人： David Kim ,  Otmar Hilliges ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges

IPC分类号： G06F3/048 ,  G06F3/033

CPC分类号： G06F3/011 ,  G06F3/017 ,  G06F3/0304

摘要： Three-dimensional user interaction is described. In one example, a virtual environment having virtual objects and a virtual representation of a user's hand with digits formed from jointed portions is generated, a point on each digit of the user's hand is tracked, and the virtual representation's digits controlled to correspond to those of the user. An algorithm is used to calculate positions for the jointed portions, and the physical forces acting between the virtual representation and objects are simulated. In another example, an interactive computer graphics system comprises a processor that generates the virtual environment, a display device that displays the virtual objects, and a camera that capture images of the user's hand. The processor uses the images to track the user's digits, computes the algorithm, and controls the display device to update the virtual objects on the display device by simulating the physical forces.

摘要翻译： 描述三维用户交互。 在一个示例中，生成具有虚拟对象的虚拟环境和由联合部分形成的数字的用户的手的虚拟表示，跟踪用户手的每个数字上的点，并且将虚拟表示的数字控制为对应于 用户。 使用算法来计算接合部分的位置，并且模拟在虚拟表示和对象之间作用的物理力。 在另一示例中，交互式计算机图形系统包括生成虚拟环境的处理器，显示虚拟对象的显示设备和捕获用户手的图像的相机。 处理器使用图像跟踪用户的数字，计算算法，并控制显示设备通过模拟物理力量来更新显示设备上的虚拟对象。

公开(公告)号：US20090128499A1

公开(公告)日：2009-05-21

申请号：US11940822

申请日：2007-11-15

申请人： Shahram Izadi ,  Stuart Taylor ,  Stephen E. Hodges

发明人： Shahram Izadi ,  Stuart Taylor ,  Stephen E. Hodges

IPC分类号： G06F3/033

CPC分类号： G06F3/0428 ,  G06F3/0425 ,  G06F2203/04109

摘要： Touch detection systems and methods are described. The system comprises a light guiding sheet, a light source, a reflective layer and a detector. When a fingertip or other suitable object is pressed against the light guiding sheet, light which is undergoing total internal reflection within the sheet is scattered. The scattered light is reflected by the reflective layer and detected by the detector. In an embodiment, the light is infra-red light. The touch detection system may, in some embodiments, be placed on a display and the touch events used to control the display.

摘要翻译： 描述触摸检测系统和方法。 该系统包括导光片，光源，反射层和检测器。 当指尖或其他合适的物体被压在导光板上时，在片内经历全内反射的光被散射。 散射光被反射层反射并被检测器检测。 在一个实施例中，光是红外线。 在一些实施例中，触摸检测系统可以放置在显示器上，以及用于控制显示器的触摸事件。

公开(公告)号：US07433915B2

公开(公告)日：2008-10-07

申请号：US10212376

申请日：2002-08-01

申请人： Warren Keith Edwards ,  Mark Webster Newman ,  Trevor Smith ,  Jana Zdislava Sedivy ,  Karen Marcelo ,  Shahram Izadi ,  Jason Hong

发明人： Warren Keith Edwards ,  Mark Webster Newman ,  Trevor Smith ,  Jana Zdislava Sedivy ,  Karen Marcelo ,  Shahram Izadi ,  Jason Hong

IPC分类号： G06F15/16 ,  G06F3/00

CPC分类号： H04L67/10 ,  H04L67/02 ,  H04L67/142 ,  H04L67/16 ,  H04L67/34 ,  H04L69/329

摘要： Methods and systems for enabling arbitrary components to control communications, such as data transfers, without having or requiring prior knowledge of each other. The system includes a component that creates controller objects for a communication, such as a data transfer involving several components. Further, the component associates the controller objects with a communication session object of the data transfer, such as a data transfer session object. One or more of the components involved in the data transfer obtain the controller objects through the data transfer session object and execute source-specific instructions included in the obtained controller objects to generate user interfaces. The user interfaces enable the components to control aspects of the communication, such as the data transfer.

摘要翻译： 允许任意组件控制通信的方法和系统，例如数据传输，而不需要或需要彼此之间的先验知识。 该系统包括为通信创建控制器对象的组件，例如涉及多个组件的数据传输。 此外，组件将控制器对象与诸如数据传送会话对象的数据传送的通信会话对象相关联。 参与数据传输的一个或多个组件通过数据传输会话对象获得控制器对象，并执行包含在所获得的控制器对象中的源特定指令以生成用户界面。 用户界面使组件能够控制通信的方面，如数据传输。

公开(公告)号：US09053571B2

公开(公告)日：2015-06-09

申请号：US13154288

申请日：2011-06-06

申请人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges

发明人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges

IPC分类号： G06T17/00 ,  G06T15/00 ,  G06T17/10 ,  G06T7/20

CPC分类号： G06T7/251 ,  G06T17/10 ,  G06T2200/08 ,  G06T2207/10028

摘要： Generating computer models of 3D objects is described. In one example, depth images of an object captured by a substantially static depth camera are used to generate the model, which is stored in a memory device in a three-dimensional volume. Portions of the depth image determined to relate to the background are removed to leave a foreground depth image. The position and orientation of the object in the foreground depth image is tracked by comparison to a preceding depth image, and the foreground depth image is integrated into the volume by using the position and orientation to determine where to add data derived from the foreground depth image into the volume. In examples, the object is hand-rotated by a user before the depth camera. Hands that occlude the object are integrated out of the model as they do not move in sync with the object due to re-gripping.

摘要翻译： 描述生成3D对象的计算机模型。 在一个示例中，使用由基本上静态的深度相机拍摄的对象的深度图像来生成存储在三维体积中的存储器设备中的模型。 确定与背景相关的深度图像的部分被去除以留下前景深度图像。 通过与前一个深度图像进行比较来跟踪前景深度图像中的对象的位置和方向，并且通过使用位置和方向来将前景深度图像集成到卷中，以确定在哪里添加从前景深度图像导出的数据 进入卷。 在示例中，该对象在深度相机之前由用户手动旋转。 闭合对象的手从模型中集成出来，因为它们不会因为重新抓取而与对象同步移动。

公开(公告)号：US08375052B2

公开(公告)日：2013-02-12

申请号：US11866637

申请日：2007-10-03

申请人： Lucas Bordeaux ,  Youssef Hamadi ,  Shahram Izadi ,  Vishwa Vinay

发明人： Lucas Bordeaux ,  Youssef Hamadi ,  Shahram Izadi ,  Vishwa Vinay

IPC分类号： G06F17/30

CPC分类号： G06Q10/107

摘要： An outgoing message monitor is provided. In an embodiment, outgoing messages are monitored to detect potential errors and alerts may be triggered. Using information about a message such as an email, a first classifier classifies the email into an expected class and a second classifier classifies the email into an actual class. On the basis of a comparison of the expected and actual classes an alert may be triggered. In an embodiment, the second classifier uses information derived from text content of the email which may optionally be pre-processed. The first classifier, for example, uses other information about the email such as its intended recipients, information about the presence of attachments, information about whether the email is part of a thread and other information.

摘要翻译： 提供一个传出的消息监视器。 在一个实施例中，监视传出的消息以检测潜在的错误，并且可以触发警报。 使用关于诸如电子邮件的消息的信息，第一分类器将电子邮件分类为预期类，并且第二分类器将电子邮件分类为实际类。 根据预期和实际类别的比较，可能会触发警报。 在一个实施例中，第二分类器使用从可能可预先处理的电子邮件的文本内容导出的信息。 例如，第一个分类器使用关于电子邮件的其他信息，例如其预期收件人，关于附件的存在的信息，关于该电子邮件是否是线程的一部分的信息以及其他信息。

公开(公告)号：US20120242609A1

公开(公告)日：2012-09-27

申请号：US13493497

申请日：2012-06-11

申请人： Shahram Izadi ,  Abigail J. Sellen ,  Richard M. Banks ,  Stuart Taylor ,  Stephen E. Hodges ,  Alex Butler

发明人： Shahram Izadi ,  Abigail J. Sellen ,  Richard M. Banks ,  Stuart Taylor ,  Stephen E. Hodges ,  Alex Butler

IPC分类号： G06F3/041

CPC分类号： G06Q10/10 ,  G06F16/4393 ,  G06Q10/00

摘要： Existing tools for organizing family memories offer few possibilities for easily integrating both physical and digital materials in order to produce a single archive for a family (or other group of users). This also applies to archiving of physical objects and digital media in general (even for applications outside the field of family use). An archiving system is described which incorporates at least one image capture device, a display, a sensing apparatus arranged to detect user input associated with the display, a processor and memory, and a receptacle for holding digital media storage devices such as mobile telephones, digital cameras, personal digital assistants and the like. The image capture device is operable to capture digital images of physical objects for archiving. The receptacle comprises a data transmission apparatus for automatically transferring data with the digital media storage devices and optionally also a power charging apparatus.

摘要翻译： 用于组织家庭记忆的现有工具几乎不需要物理和数字材料的集成，以便为家庭（或其他用户组）生成单个存档。 这也适用于物理对象和数字媒体的归档（即使是在家庭使用领域之外的应用程序）。 描述了归档系统，其包括至少一个图像捕获设备，显示器，被设置为检测与显示器相关联的用户输入的感测设备，处理器和存储器，以及用于保持数字媒体存储设备（例如移动电话，数字 相机，个人数字助理等。 图像捕获设备可操作以捕获用于归档的物理对象的数字图像。 插座包括用于与数字媒体存储装置自动传送数据的数据传输装置，以及可选地还有一个充电装置。

公开(公告)号：US20120131514A1

公开(公告)日：2012-05-24

申请号：US12950669

申请日：2010-11-19

申请人： Peter John Ansell ,  Shahram Izadi

发明人： Peter John Ansell ,  Shahram Izadi

IPC分类号： G06F3/033 ,  G06F3/041

CPC分类号： G06F3/04883 ,  G06F3/03543

摘要： Gesture recognition is described. In one example, gestures performed by a user of an input device having a touch-sensitive portion are detected using a definition of a number of regions corresponding to zones on the touch-sensitive portion, each region being associated with a distinct set of gestures. Data describing movement of the user's digits on the touch-sensitive portion is received, and an associated region for the data determined. The data is compared to the associated region's set of gestures, and a gesture applicable to the data selected. A command associated with the selected gesture can then be executed. In an example, comparing the data to the set of gestures comprises positioning a threshold for each gesture relative to the start of the digit's movement. The digit's location is compared to each threshold to determine whether a threshold has been crossed, and, if so, selecting the gesture associated with that threshold.

摘要翻译： 描述手势识别。 在一个示例中，使用具有触敏部分的输入设备的用户执行的手势使用对应于触敏部分上的区域的区域的数量的定义来检测，每个区域与不同的手势组相关联。 接收描述用户在触敏部分上的数字移动的数据，并确定数据的相关区域。 将数据与相关区域的手势集合进行比较，以及适用于所选数据的手势。 然后可以执行与所选手势相关联的命令。 在一个示例中，将数据与手势集进行比较包括针对每个手势相对于数字移动的开始定位阈值。 将数字的位置与每个阈值进行比较，以确定是否已经超过阈值，如果是，则选择与该阈值相关联的手势。