公开(公告)号：US20140045593A1

公开(公告)日：2014-02-13

申请号：US13569145

申请日：2012-08-07

申请人： Mauro Giusti ,  David Molyneaux ,  Kevin Endres ,  John Elsbree

发明人： Mauro Giusti ,  David Molyneaux ,  Kevin Endres ,  John Elsbree

IPC分类号： A63F13/06

CPC分类号： A63F13/06 ,  A63F13/10 ,  A63F2300/1087 ,  A63F2300/6607

摘要： A method of modeling a human subject includes receiving from a depth camera a depth map of a scene including the human subject. The human subject is modeled with a virtual skeleton including a plurality of virtual joints. Each virtual joint is defined with a three-dimensional position. Furthermore, each of the plurality of virtual joints is further defined with three orthonormal vectors. The three orthonormal vectors for each virtual joint provide an orientation of that virtual joint at the three-dimensional position defined for that virtual joint.

摘要翻译： 对人类对象建模的方法包括从深度相机接收包括人类对象的场景的深度图。 人类受试者用包括多个虚拟关节的虚拟骨架建模。 每个虚拟关节用三维位置定义。 此外，多个虚拟关节中的每一个进一步被定义为三个正交向量。 每个虚拟关节的三个正交向量在为该虚拟关节定义的三维位置处提供该虚拟关节的取向。

公开(公告)号：US09529424B2

公开(公告)日：2016-12-27

申请号：US12940322

申请日：2010-11-05

申请人： Otmar Hilliges ,  David Kim ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Otmar Hilliges ,  David Kim ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： G06F3/01 ,  G06F3/03 ,  A63F13/20 ,  H04N13/04

CPC分类号： G06F3/011 ,  A63F13/06 ,  A63F13/20 ,  G02B27/0101 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0145 ,  G06F3/012 ,  G06F3/013 ,  G06F3/017 ,  G06F3/0304 ,  G06T19/006 ,  H04N13/30 ,  H04N13/366

摘要： Augmented reality with direct user interaction is described. In one example, an augmented reality system comprises a user-interaction region, a camera that captures images of an object in the user-interaction region, and a partially transparent display device which combines a virtual environment with a view of the user-interaction region, so that both are visible at the same time to a user. A processor receives the images, tracks the object's movement, calculates a corresponding movement within the virtual environment, and updates the virtual environment based on the corresponding movement. In another example, a method of direct interaction in an augmented reality system comprises generating a virtual representation of the object having the corresponding movement, and updating the virtual environment so that the virtual representation interacts with virtual objects in the virtual environment. From the user's perspective, the object directly interacts with the virtual objects.

摘要翻译： 描述了与直接用户交互的增强现实。 在一个示例中，增强现实系统包括用户交互区域，捕获用户交互区域中的对象的图像的相机以及将虚拟环境与用户交互区域的视图组合的部分透明显示设备 ，这样两者都可以同时显示给用户。 处理器接收图像，跟踪对象的移动，计算虚拟环境中的相应移动，并且基于相应的移动来更新虚拟环境。 在另一示例中，增强现实系统中的直接交互的方法包括生成具有相应移动的对象的虚拟表示，并且更新虚拟环境，使得虚拟表示与虚拟环境中的虚拟对象交互。 从用户的角度来看，对象直接与虚拟对象进行交互。

公开(公告)号：US09001118B2

公开(公告)日：2015-04-07

申请号：US13585540

申请日：2012-08-14

申请人： David Molyneaux ,  Xin Tong ,  Zicheng Liu ,  Eric Chang ,  Fan Yang ,  Jay Kapur ,  Emily Yang ,  Yang Liu ,  Hsiang-Tao Wu

发明人： David Molyneaux ,  Xin Tong ,  Zicheng Liu ,  Eric Chang ,  Fan Yang ,  Jay Kapur ,  Emily Yang ,  Yang Liu ,  Hsiang-Tao Wu

IPC分类号： G06T15/00 ,  A63F13/213 ,  A63F13/655 ,  G06K9/00 ,  G06K9/62 ,  G06T7/00 ,  G06T13/40 ,  G06T17/20

CPC分类号： G06T7/0032 ,  A63F13/213 ,  A63F13/655 ,  G06K9/00214 ,  G06K9/00369 ,  G06K9/469 ,  G06K9/6206 ,  G06K9/6211 ,  G06T7/344 ,  G06T13/40 ,  G06T17/20 ,  G06T2207/10028

摘要： A method for constructing an avatar of a human subject includes acquiring a depth map of the subject, obtaining a virtual skeleton of the subject based on the depth map, and harvesting from the virtual skeleton a set of characteristic metrics. Such metrics correspond to distances between predetermined points of the virtual skeleton. In this example method, the characteristic metrics are provided as input to an algorithm trained using machine learning. The algorithm may be trained using a human model in a range of poses, and a range of human models in a single pose, to output a virtual body mesh as a function of the characteristic metrics. The method also includes constructing a virtual head mesh distinct from the virtual body mesh, with facial features resembling those of the subject, and connecting the virtual body mesh to the virtual head mesh.

摘要翻译： 用于构建人类对象的化身的方法包括获取对象的深度图，基于深度图获取对象的虚拟骨架，以及从虚拟骨架获取一组特征度量。 这样的度量对应于虚拟骨架的预定点之间的距离。 在该示例方法中，特征度量被提供作为使用机器学习训练的算法的输入。 可以使用姿态范围中的人类模型和单个姿态中的人类模型的范围来训练算法，以根据特征度量输出虚拟身体网格。 该方法还包括构建与虚拟身体网格不同的虚拟头部网格，以及类似于对象的面部特征，以及将虚拟身体网格物体连接到虚拟头部网格物体。

公开(公告)号：US20130169626A1

公开(公告)日：2013-07-04

申请号：US13688093

申请日：2012-11-28

申请人： Alexandru Balan ,  Jason Flaks ,  Steve Hodges ,  Michael Isard ,  Oliver Williams ,  Paul Barham ,  Shahram Izadi ,  Otmar Hiliges ,  David Molyneaux ,  David Kim

发明人： Alexandru Balan ,  Jason Flaks ,  Steve Hodges ,  Michael Isard ,  Oliver Williams ,  Paul Barham ,  Shahram Izadi ,  Otmar Hiliges ,  David Molyneaux ,  David Kim

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  G06F3/005 ,  G06F3/0304 ,  G09G3/003 ,  G09G2340/12 ,  G09G2340/125 ,  G09G2340/14 ,  G09G2354/00

摘要： A system and method for providing an augmented reality environment in which the environmental mapping process is decoupled from the localization processes performed by one or more mobile devices is described. In some embodiments, an augmented reality system includes a mapping system with independent sensing devices for mapping a particular real-world environment and one or more mobile devices. Each of the one or more mobile devices utilizes a separate asynchronous computing pipeline for localizing the mobile device and rendering virtual objects from a point of view of the mobile device. This distributed approach provides an efficient way for supporting mapping and localization processes for a large number of mobile devices, which are typically constrained by form factor and battery life limitations.

摘要翻译： 描述了一种用于提供增强现实环境的系统和方法，其中环境映射过程与由一个或多个移动设备执行的定位处理分离。 在一些实施例中，增强现实系统包括具有用于映射特定现实世界环境和一个或多个移动设备的独立感测设备的映射系统。 一个或多个移动设备中的每一个利用单独的异步计算流水线来定位移动设备并从移动设备的角度呈现虚拟对象。 这种分布式方法提供了一种有效的方式来支持大量移动设备的映射和定位过程，这些移动设备通常受形状因素和电池寿命限制的限制。

公开(公告)号：US08401242B2

公开(公告)日：2013-03-19

申请号：US13017587

申请日：2011-01-31

申请人： Richard Newcombe ,  Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Richard Newcombe ,  Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： G06K9/00

CPC分类号： A63F13/00 ,  A63F13/06 ,  A63F2300/1087 ,  A63F2300/69 ,  G06K9/00 ,  G06K9/00664 ,  G06T7/251 ,  G06T7/30 ,  G06T2207/10028 ,  G06T2207/10048 ,  G06T2207/30244

摘要： Real-time camera tracking using depth maps is described. In an embodiment depth map frames are captured by a mobile depth camera at over 20 frames per second and used to dynamically update in real-time a set of registration parameters which specify how the mobile depth camera has moved. In examples the real-time camera tracking output is used for computer game applications and robotics. In an example, an iterative closest point process is used with projective data association and a point-to-plane error metric in order to compute the updated registration parameters. In an example, a graphics processing unit (GPU) implementation is used to optimize the error metric in real-time. In some embodiments, a dense 3D model of the mobile camera environment is used.

摘要翻译： 描述使用深度图的实时相机跟踪。 在一个实施例中，深度图帧由移动深度相机以每秒20帧的速度捕获，并且用于实时动态地更新一组注册参数，这些参数指定移动深度相机已经移动。 在实例中，实时相机跟踪输出用于计算机游戏应用和机器人。 在一个例子中，迭代最近点处理与投影数据关联和点到平面误差度量一起使用，以便计算更新的注册参数。 在一个例子中，使用图形处理单元（GPU）实现来实时优化误差度量。 在一些实施例中，使用移动照相机环境的密集3D模型。

公开(公告)号：US20120194650A1

公开(公告)日：2012-08-02

申请号：US13017518

申请日：2011-01-31

申请人： Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Stephen Edward Hodges ,  David Alexander Butler ,  Andrew Fitzgibbon ,  Pushmeet Kohli

发明人： Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Stephen Edward Hodges ,  David Alexander Butler ,  Andrew Fitzgibbon ,  Pushmeet Kohli

IPC分类号： H04N13/02

CPC分类号： G06T7/55 ,  G01B9/08 ,  G01B11/22 ,  H04N5/23229 ,  H04N5/247 ,  H04N5/33 ,  H04N5/332 ,  H04N13/271

摘要： Systems and methods for reducing interference between multiple infra-red depth cameras are described. In an embodiment, the system comprises multiple infra-red sources, each of which projects a structured light pattern into the environment. A controller is used to control the sources in order to reduce the interference caused by overlapping light patterns. Various methods are described including: cycling between the different sources, where the cycle used may be fixed or may change dynamically based on the scene detected using the cameras; setting the wavelength of each source so that overlapping patterns are at different wavelengths; moving source-camera pairs in independent motion patterns; and adjusting the shape of the projected light patterns to minimize overlap. These methods may also be combined in any way. In another embodiment, the system comprises a single source and a mirror system is used to cast the projected structured light pattern around the environment.

摘要翻译： 描述了用于减少多个红外深度摄像机之间的干扰的系统和方法。 在一个实施例中，系统包括多个红外源，每个红外源将结构化的光图案投射到环境中。 控制器用于控制源，以减少由重叠的光图案引起的干扰。 描述了各种方法，包括：在不同的源之间循环，其中使用的周期可以是固定的，或者可以基于使用相机检测的场景动态地改变; 设置每个源的波长，使得重叠图案处于不同的波长; 以独立运动模式移动源摄像机对; 并调整投影光图案的形状以最小化重叠。 这些方法也可以以任何方式组合。 在另一个实施例中，系统包括单个源，并且使用镜子系统将投射的结构化光图案围绕环境投射。

公开(公告)号：US09053571B2

公开(公告)日：2015-06-09

申请号：US13154288

申请日：2011-06-06

申请人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges

发明人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges

IPC分类号： G06T17/00 ,  G06T15/00 ,  G06T17/10 ,  G06T7/20

CPC分类号： G06T7/251 ,  G06T17/10 ,  G06T2200/08 ,  G06T2207/10028

摘要： Generating computer models of 3D objects is described. In one example, depth images of an object captured by a substantially static depth camera are used to generate the model, which is stored in a memory device in a three-dimensional volume. Portions of the depth image determined to relate to the background are removed to leave a foreground depth image. The position and orientation of the object in the foreground depth image is tracked by comparison to a preceding depth image, and the foreground depth image is integrated into the volume by using the position and orientation to determine where to add data derived from the foreground depth image into the volume. In examples, the object is hand-rotated by a user before the depth camera. Hands that occlude the object are integrated out of the model as they do not move in sync with the object due to re-gripping.

摘要翻译： 描述生成3D对象的计算机模型。 在一个示例中，使用由基本上静态的深度相机拍摄的对象的深度图像来生成存储在三维体积中的存储器设备中的模型。 确定与背景相关的深度图像的部分被去除以留下前景深度图像。 通过与前一个深度图像进行比较来跟踪前景深度图像中的对象的位置和方向，并且通过使用位置和方向来将前景深度图像集成到卷中，以确定在哪里添加从前景深度图像导出的数据 进入卷。 在示例中，该对象在深度相机之前由用户手动旋转。 闭合对象的手从模型中集成出来，因为它们不会因为重新抓取而与对象同步移动。

公开(公告)号：US08570320B2

公开(公告)日：2013-10-29

申请号：US13017729

申请日：2011-01-31

申请人： Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： G06T17/00 ,  G09G5/00

CPC分类号： G06F3/011 ,  A63F13/65 ,  A63F2300/1087 ,  A63F2300/6009 ,  G06T7/20 ,  G06T17/00 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/30244

摘要： Use of a 3D environment model in gameplay is described. In an embodiment, a mobile depth camera is used to capture a series of depth images as it is moved around and a dense 3D model of the environment is generated from this series of depth images. This dense 3D model is incorporated within an interactive application, such as a game. The mobile depth camera is then placed in a static position for an interactive phase, which in some examples is gameplay, and the system detects motion of a user within a part of the environment from a second series of depth images captured by the camera. This motion provides a user input to the interactive application, such as a game. In further embodiments, automatic recognition and identification of objects within the 3D model may be performed and these identified objects then change the way that the interactive application operates.

摘要翻译： 描述了在游戏中使用3D环境模型。 在一个实施例中，移动深度相机被用来捕获一系列深度图像，因为它被移动，并且从该系列深度图像生成环境的密集3D模型。 这种密集的3D模型被并入在诸如游戏的交互式应用中。 然后将移动深度相机放置在用于交互式相位的静态位置，在一些示例中为游戏画面，并且系统从相机拍摄的第二系列深度图像中检测环境部分内的用户的运动。 该运动向诸如游戏的交互式应用提供用户输入。 在另外的实施例中，可以执行3D模型内的对象的自动识别和识别，并且这些识别的对象然后改变交互式应用程序的操作方式。

公开(公告)号：US08502816B2

公开(公告)日：2013-08-06

申请号：US12959055

申请日：2010-12-02

申请人： David Alexander Butler ,  Stephen Edward Hodges ,  Shahram Izadi ,  Nicolas Villar ,  Stuart Taylor ,  David Molyneaux ,  Otmar Hilliges

发明人： David Alexander Butler ,  Stephen Edward Hodges ,  Shahram Izadi ,  Nicolas Villar ,  Stuart Taylor ,  David Molyneaux ,  Otmar Hilliges

IPC分类号： G06T15/00

CPC分类号： G06F3/041 ,  A63F2300/8023 ,  A63F2300/8088 ,  G02F1/1323 ,  G06F3/0488 ,  G09G3/003 ,  G09G2300/023 ,  G09G2320/068 ,  H04N13/305 ,  H04N13/31 ,  H04N13/366 ,  H04N2013/403 ,  H04N2013/405

摘要： A tabletop display providing multiple views to users is described. In an embodiment the display comprises a rotatable view-angle restrictive filter and a display system. The display system displays a sequence of images synchronized with the rotation of the filter to provide multiple views according to viewing angle. These multiple views provide a user with a 3D display or with personalized content which is not visible to a user at a sufficiently different viewing angle. In some embodiments, the display comprises a diffuser layer on which the sequence of images are displayed. In further embodiments, the diffuser is switchable between a diffuse state when images are displayed and a transparent state when imaging beyond the surface can be performed. The device may form part of a tabletop comprising with a touch-sensitive surface. Detected touch events and images captured through the surface may be used to modify the images being displayed.

摘要翻译： 描述了向用户提供多个视图的桌面显示。 在一个实施例中，显示器包括可旋转的视角限制滤光器和显示系统。 显示系统显示与滤波器的旋转同步的图像序列，以根据视角提供多个视图。 这些多个视图为用户提供3D显示器或具有以足够不同的视角对用户不可见的个性化内容。 在一些实施例中，显示器包括其上显示图像序列的漫射层。 在另外的实施例中，当显示图像时，扩散器可在漫射状态之间切换，并且可以执行超过表面的成像时的透明状态。 该装置可以形成包括触敏表面的桌面的一部分。 检测到的触摸事件和通过表面拍摄的图像可能会用于修改正在显示的图像。

公开(公告)号：US08471814B2

公开(公告)日：2013-06-25

申请号：US12714295

申请日：2010-02-26

申请人： Harper LaFave ,  Stephen Hodges ,  James Scott ,  Shahram Izadi ,  David Molyneaux ,  Nicolas Villar ,  David Alexander Butler ,  Mike Hazas

发明人： Harper LaFave ,  Stephen Hodges ,  James Scott ,  Shahram Izadi ,  David Molyneaux ,  Nicolas Villar ,  David Alexander Butler ,  Mike Hazas

IPC分类号： G06F3/033

CPC分类号： G06F3/023 ,  G06F3/017 ,  G06F3/04812 ,  G06F3/04845 ,  G06F3/0488 ,  G06F3/0489

摘要： User interface control using a keyboard is described. In an embodiment, a user interface displayed on a display device is controlled using a computer connected to a keyboard. The keyboard has a plurality of alphanumeric keys that can be used for text entry. The computer receives data comprising a sequence of key-presses from the keyboard, and generates for each key-press a physical location on the keyboard. The relative physical locations of the key-presses are compared to calculate a movement path over the keyboard. The movement path describes the path of a user's digit over the keyboard. The movement path is mapped to a sequence of coordinates in the user interface, and the movement of an object displayed in the user interface is controlled in accordance with the sequence of coordinates.

摘要翻译： 描述使用键盘的用户界面控制。 在一个实施例中，使用连接到键盘的计算机来控制在显示装置上显示的用户界面。 键盘具有可用于文本输入的多个字母数字键。 计算机从键盘接收包括按键序列的数据，并为每个按键生成键盘上的物理位置。 比较按键的相对物理位置以计算键盘上的移动路径。 移动路径描述用户在键盘上的数字的路径。 移动路径被映射到用户界面中的一系列坐标，并且根据坐标序列来控制显示在用户界面中的对象的移动。