公开(公告)号：US20120139897A1

公开(公告)日：2012-06-07

申请号：US12959055

申请日：2010-12-02

申请人： David Alexander Butler ,  Stephen Edward Hodges ,  Shahram Izadi ,  Nicolas Villar ,  Stuart Taylor ,  David Molyneaux ,  Otmar Hilliges

发明人： David Alexander Butler ,  Stephen Edward Hodges ,  Shahram Izadi ,  Nicolas Villar ,  Stuart Taylor ,  David Molyneaux ,  Otmar Hilliges

IPC分类号： G06F3/048 ,  G09G5/00 ,  G06T15/00

CPC分类号： G06F3/041 ,  A63F2300/8023 ,  A63F2300/8088 ,  G02F1/1323 ,  G06F3/0488 ,  G09G3/003 ,  G09G2300/023 ,  G09G2320/068 ,  H04N13/305 ,  H04N13/31 ,  H04N13/366 ,  H04N2013/403 ,  H04N2013/405

摘要： A tabletop display providing multiple views to users is described. In an embodiment the display comprises a rotatable view-angle restrictive filter and a display system. The display system displays a sequence of images synchronized with the rotation of the filter to provide multiple views according to viewing angle. These multiple views provide a user with a 3D display or with personalized content which is not visible to a user at a sufficiently different viewing angle. In some embodiments, the display comprises a diffuser layer on which the sequence of images are displayed. In further embodiments, the diffuser is switchable between a diffuse state when images are displayed and a transparent state when imaging beyond the surface can be performed. The device may form part of a tabletop comprising with a touch-sensitive surface. Detected touch events and images captured through the surface may be used to modify the images being displayed.

摘要翻译： 描述了向用户提供多个视图的桌面显示。 在一个实施例中，显示器包括可旋转的视角限制滤光器和显示系统。 显示系统显示与滤波器的旋转同步的图像序列，以根据视角提供多个视图。 这些多个视图为用户提供3D显示器或具有以足够不同的视角对用户不可见的个性化内容。 在一些实施例中，显示器包括其上显示图像序列的漫射层。 在另外的实施例中，当显示图像时，扩散器可在漫射状态之间切换，并且可以执行超过表面的成像时的透明状态。 该装置可以形成包括触敏表面的桌面的一部分。 检测到的触摸事件和通过表面拍摄的图像可能会用于修改正在显示的图像。

公开(公告)号：US08570320B2

公开(公告)日：2013-10-29

申请号：US13017729

申请日：2011-01-31

申请人： Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： G06T17/00 ,  G09G5/00

CPC分类号： G06F3/011 ,  A63F13/65 ,  A63F2300/1087 ,  A63F2300/6009 ,  G06T7/20 ,  G06T17/00 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/30244

摘要： Use of a 3D environment model in gameplay is described. In an embodiment, a mobile depth camera is used to capture a series of depth images as it is moved around and a dense 3D model of the environment is generated from this series of depth images. This dense 3D model is incorporated within an interactive application, such as a game. The mobile depth camera is then placed in a static position for an interactive phase, which in some examples is gameplay, and the system detects motion of a user within a part of the environment from a second series of depth images captured by the camera. This motion provides a user input to the interactive application, such as a game. In further embodiments, automatic recognition and identification of objects within the 3D model may be performed and these identified objects then change the way that the interactive application operates.

摘要翻译： 描述了在游戏中使用3D环境模型。 在一个实施例中，移动深度相机被用来捕获一系列深度图像，因为它被移动，并且从该系列深度图像生成环境的密集3D模型。 这种密集的3D模型被并入在诸如游戏的交互式应用中。 然后将移动深度相机放置在用于交互式相位的静态位置，在一些示例中为游戏画面，并且系统从相机拍摄的第二系列深度图像中检测环境部分内的用户的运动。 该运动向诸如游戏的交互式应用提供用户输入。 在另外的实施例中，可以执行3D模型内的对象的自动识别和识别，并且这些识别的对象然后改变交互式应用程序的操作方式。

公开(公告)号：US08502816B2

公开(公告)日：2013-08-06

申请号：US12959055

申请日：2010-12-02

申请人： David Alexander Butler ,  Stephen Edward Hodges ,  Shahram Izadi ,  Nicolas Villar ,  Stuart Taylor ,  David Molyneaux ,  Otmar Hilliges

发明人： David Alexander Butler ,  Stephen Edward Hodges ,  Shahram Izadi ,  Nicolas Villar ,  Stuart Taylor ,  David Molyneaux ,  Otmar Hilliges

IPC分类号： G06T15/00

CPC分类号： G06F3/041 ,  A63F2300/8023 ,  A63F2300/8088 ,  G02F1/1323 ,  G06F3/0488 ,  G09G3/003 ,  G09G2300/023 ,  G09G2320/068 ,  H04N13/305 ,  H04N13/31 ,  H04N13/366 ,  H04N2013/403 ,  H04N2013/405

摘要： A tabletop display providing multiple views to users is described. In an embodiment the display comprises a rotatable view-angle restrictive filter and a display system. The display system displays a sequence of images synchronized with the rotation of the filter to provide multiple views according to viewing angle. These multiple views provide a user with a 3D display or with personalized content which is not visible to a user at a sufficiently different viewing angle. In some embodiments, the display comprises a diffuser layer on which the sequence of images are displayed. In further embodiments, the diffuser is switchable between a diffuse state when images are displayed and a transparent state when imaging beyond the surface can be performed. The device may form part of a tabletop comprising with a touch-sensitive surface. Detected touch events and images captured through the surface may be used to modify the images being displayed.

摘要翻译： 描述了向用户提供多个视图的桌面显示。 在一个实施例中，显示器包括可旋转的视角限制滤光器和显示系统。 显示系统显示与滤波器的旋转同步的图像序列，以根据视角提供多个视图。 这些多个视图为用户提供3D显示器或具有以足够不同的视角对用户不可见的个性化内容。 在一些实施例中，显示器包括其上显示图像序列的漫射层。 在另外的实施例中，当显示图像时，扩散器可在漫射状态之间切换，并且可以执行超过表面的成像时的透明状态。 该装置可以形成包括触敏表面的桌面的一部分。 检测到的触摸事件和通过表面拍摄的图像可能会用于修改正在显示的图像。

公开(公告)号：US20120194644A1

公开(公告)日：2012-08-02

申请号：US13017474

申请日：2011-01-31

申请人： Richard Newcombe ,  Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Richard Newcombe ,  Shahram Izadi ,  David Molyneaux ,  Otmar Hilliges ,  David Kim ,  Jamie Daniel Joseph Shotton ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： H04N5/225

CPC分类号： G06T7/20 ,  G06T7/74 ,  G06T2207/10016 ,  G06T2207/10021 ,  G06T2207/10024 ,  G06T2207/10028 ,  G06T2207/30244

摘要： Mobile camera localization using depth maps is described for robotics, immersive gaming, augmented reality and other applications. In an embodiment a mobile depth camera is tracked in an environment at the same time as a 3D model of the environment is formed using the sensed depth data. In an embodiment, when camera tracking fails, this is detected and the camera is relocalized either by using previously gathered keyframes or in other ways. In an embodiment, loop closures are detected in which the mobile camera revisits a location, by comparing features of a current depth map with the 3D model in real time. In embodiments the detected loop closures are used to improve the consistency and accuracy of the 3D model of the environment.

摘要翻译： 使用深度图的移动摄像机定位被描述为机器人，沉浸式游戏，增强现实和其他应用。 在一个实施例中，移动深度相机在环境中跟踪，同时使用感测的深度数据形成环境的3D模型。 在一个实施例中，当相机跟踪失败时，检测到该相机并且通过使用先前收集的关键帧或以其它方式来重新定位相机。 在一个实施例中，通过将当前深度图与3D模型的特征实时比较，检测到环路闭合，其中移动摄像机重新访问位置。 在实施例中，检测到的环路闭合用于改善环境的3D模型的一致性和准确性。

公开(公告)号：US20120113223A1

公开(公告)日：2012-05-10

申请号：US12940383

申请日：2010-11-05

申请人： Otmar Hilliges ,  David Kim ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges ,  David Alexander Butler

发明人： Otmar Hilliges ,  David Kim ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges ,  David Alexander Butler

IPC分类号： H04N13/02 ,  G06T17/00

CPC分类号： G06F3/017 ,  G06F3/011 ,  G06F3/04815

摘要： Techniques for user-interaction in augmented reality are described. In one example, a direct user-interaction method comprises displaying a 3D augmented reality environment having a virtual object and a real first and second object controlled by a user, tracking the position of the objects in 3D using camera images, displaying the virtual object on the first object from the user's viewpoint, and enabling interaction between the second object and the virtual object when the first and second objects are touching. In another example, an augmented reality system comprises a display device that shows an augmented reality environment having a virtual object and a real user's hand, a depth camera that captures depth images of the hand, and a processor. The processor receives the images, tracks the hand pose in six degrees-of-freedom, and enables interaction between the hand and the virtual object.

摘要翻译： 描述了增强现实中用户交互的技术。 在一个示例中，直接用户交互方法包括显示具有虚拟对象的3D增强现实环境和由用户控制的真实的第一和第二对象，使用相机图像在3D中跟踪对象的位置，将虚拟对象显示在 从用户的角度看第一个对象，并且当第一和第二个对象接触时，使第二个对象和虚拟对象之间能够进行交互。 在另一示例中，增强现实系统包括显示装置，其显示具有虚拟对象和实际用户的手的增强现实环境，捕获手的深度图像的深度相机和处理器。 处理器接收图像，以六自由度跟踪手姿势，并且实现手和虚拟对象之间的交互。

公开(公告)号：US20150043770A1

公开(公告)日：2015-02-12

申请号：US13963117

申请日：2013-08-09

申请人： Nicholas Yen-Cherng Chen ,  Stephen Edward Hodges ,  Andrew William Fitzgibbon ,  Andrew Clark Goris ,  Brian Lee Hastings ,  Shahram Izadi

发明人： Nicholas Yen-Cherng Chen ,  Stephen Edward Hodges ,  Andrew William Fitzgibbon ,  Andrew Clark Goris ,  Brian Lee Hastings ,  Shahram Izadi

IPC分类号： G06T7/00 ,  G06K9/00

CPC分类号： G06T7/0042 ,  G06F3/011 ,  G06F3/0304 ,  G06F3/0346 ,  G06K9/00208 ,  G06T7/73

摘要： Speckle sensing for motion tracking is described, for example, to track a user's finger or head in an environment to control a graphical user interface, to track a hand-held device, to track digits of a hand for gesture-based control, and to track 3D motion of other objects or parts of objects in a real-world environment. In various examples a stream of images of a speckle pattern from at least one coherent light source illuminating the object, or which is generated by a light source at the object to be tracked, is used to compute an estimate of 3D position of the object. In various examples the estimate is transformed using information about position and/or orientation of the object from another source. In various examples the other source is a time of flight system, a structured light system, a stereo system, a sensor at the object, or other sources.

摘要翻译： 描述了用于运动跟踪的斑点感测，例如，在环境中跟踪用户的手指或头部以控制图形用户界面，跟踪手持设备，跟踪用于基于手势的控制的手的数字，以及 跟踪现实环境中其他对象或物体部分的3D运动。 在各种示例中，使用来自照亮对象的至少一个相干光源或由待跟踪对象上的光源产生的散斑图案的流图来计算对象的3D位置的估计。 在各种示例中，使用关于来自另一来源的对象的位置和/或取向的信息来转换估计。 在各种示例中，另一个来源是飞行时间系统，结构化光系统，立体声系统，物体上的传感器或其他来源。

公开(公告)号：US09208566B2

公开(公告)日：2015-12-08

申请号：US13963117

申请日：2013-08-09

申请人： Nicholas Yen-Cherng Chen ,  Stephen Edward Hodges ,  Andrew William Fitzgibbon ,  Andrew Clark Goris ,  Brian Lee Hastings ,  Shahram Izadi

发明人： Nicholas Yen-Cherng Chen ,  Stephen Edward Hodges ,  Andrew William Fitzgibbon ,  Andrew Clark Goris ,  Brian Lee Hastings ,  Shahram Izadi

IPC分类号： G06K9/00 ,  G06T7/00 ,  G06F3/01 ,  G06F3/03 ,  G06F3/0346

CPC分类号： G06T7/0042 ,  G06F3/011 ,  G06F3/0304 ,  G06F3/0346 ,  G06K9/00208 ,  G06T7/73

摘要： Speckle sensing for motion tracking is described, for example, to track a user's finger or head in an environment to control a graphical user interface, to track a hand-held device, to track digits of a hand for gesture-based control, and to track 3D motion of other objects or parts of objects in a real-world environment. In various examples a stream of images of a speckle pattern from at least one coherent light source illuminating the object, or which is generated by a light source at the object to be tracked, is used to compute an estimate of 3D position of the object. In various examples the estimate is transformed using information about position and/or orientation of the object from another source. In various examples the other source is a time of flight system, a structured light system, a stereo system, a sensor at the object, or other sources.

摘要翻译： 描述了用于运动跟踪的斑点感测，例如，在环境中跟踪用户的手指或头部以控制图形用户界面，跟踪手持设备，跟踪用于基于手势的控制的手的数字，以及 跟踪现实环境中其他对象或物体部分的3D运动。 在各种示例中，使用来自照亮对象的至少一个相干光源或由待跟踪对象上的光源产生的散斑图案的流图来计算对象的3D位置的估计。 在各种示例中，使用关于来自另一来源的对象的位置和/或取向的信息来转换估计。 在各种示例中，另一个来源是飞行时间系统，结构化光系统，立体声系统，物体上的传感器或其他来源。

公开(公告)号：US20120117514A1

公开(公告)日：2012-05-10

申请号：US12939891

申请日：2010-11-04

申请人： David Kim ,  Otmar Hilliges ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges

发明人： David Kim ,  Otmar Hilliges ,  Shahram Izadi ,  David Molyneaux ,  Stephen Edward Hodges

IPC分类号： G06F3/048 ,  G06F3/033

CPC分类号： G06F3/011 ,  G06F3/017 ,  G06F3/0304

摘要： Three-dimensional user interaction is described. In one example, a virtual environment having virtual objects and a virtual representation of a user's hand with digits formed from jointed portions is generated, a point on each digit of the user's hand is tracked, and the virtual representation's digits controlled to correspond to those of the user. An algorithm is used to calculate positions for the jointed portions, and the physical forces acting between the virtual representation and objects are simulated. In another example, an interactive computer graphics system comprises a processor that generates the virtual environment, a display device that displays the virtual objects, and a camera that capture images of the user's hand. The processor uses the images to track the user's digits, computes the algorithm, and controls the display device to update the virtual objects on the display device by simulating the physical forces.

摘要翻译： 描述三维用户交互。 在一个示例中，生成具有虚拟对象的虚拟环境和由联合部分形成的数字的用户的手的虚拟表示，跟踪用户手的每个数字上的点，并且将虚拟表示的数字控制为对应于 用户。 使用算法来计算接合部分的位置，并且模拟在虚拟表示和对象之间作用的物理力。 在另一示例中，交互式计算机图形系统包括生成虚拟环境的处理器，显示虚拟对象的显示设备和捕获用户手的图像的相机。 处理器使用图像跟踪用户的数字，计算算法，并控制显示设备通过模拟物理力量来更新显示设备上的虚拟对象。

公开(公告)号：US09053571B2

公开(公告)日：2015-06-09

申请号：US13154288

申请日：2011-06-06

申请人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges

发明人： Jamie Daniel Joseph Shotton ,  Shahram Izadi ,  Otmar Hilliges ,  David Kim ,  David Molyneaux ,  Pushmeet Kohli ,  Andrew Fitzgibbon ,  Stephen Edward Hodges

IPC分类号： G06T17/00 ,  G06T15/00 ,  G06T17/10 ,  G06T7/20

CPC分类号： G06T7/251 ,  G06T17/10 ,  G06T2200/08 ,  G06T2207/10028

摘要： Generating computer models of 3D objects is described. In one example, depth images of an object captured by a substantially static depth camera are used to generate the model, which is stored in a memory device in a three-dimensional volume. Portions of the depth image determined to relate to the background are removed to leave a foreground depth image. The position and orientation of the object in the foreground depth image is tracked by comparison to a preceding depth image, and the foreground depth image is integrated into the volume by using the position and orientation to determine where to add data derived from the foreground depth image into the volume. In examples, the object is hand-rotated by a user before the depth camera. Hands that occlude the object are integrated out of the model as they do not move in sync with the object due to re-gripping.

摘要翻译： 描述生成3D对象的计算机模型。 在一个示例中，使用由基本上静态的深度相机拍摄的对象的深度图像来生成存储在三维体积中的存储器设备中的模型。 确定与背景相关的深度图像的部分被去除以留下前景深度图像。 通过与前一个深度图像进行比较来跟踪前景深度图像中的对象的位置和方向，并且通过使用位置和方向来将前景深度图像集成到卷中，以确定在哪里添加从前景深度图像导出的数据 进入卷。 在示例中，该对象在深度相机之前由用户手动旋转。 闭合对象的手从模型中集成出来，因为它们不会因为重新抓取而与对象同步移动。

公开(公告)号：US08615404B2

公开(公告)日：2013-12-24

申请号：US11678266

申请日：2007-02-23

申请人： Chris Demetrios Karkanias ,  Stephen Edward Hodges

发明人： Chris Demetrios Karkanias ,  Stephen Edward Hodges

IPC分类号： G06Q50/00 ,  G06F15/18

CPC分类号： G06Q50/22 ,  G06F19/00

摘要： A system that can enable establishment of a self-describing data network is provided. Generally, the innovation provides a mechanism by which self-describing data can be collected, validated and stored in such a way that permits each data element to be inherently self-describing. The manner in which the data is stored can be analogized to a ‘data chemistry’ whereby data is stored in the smallest meaningful bit (e.g., atom) coupled with descriptive metadata (e.g., tags). In a specific example, the data network maintains health-related data where each element includes a core data element wrapped with descriptive metadata. The descriptive metadata (e.g., tags) can be employed to interrelate the data elements for storage as well as to facilitate efficient traversal of the data network as a whole.

摘要翻译： 提供了一种能够建立自描述数据网络的系统。 通常，创新提供了一种机制，通过该机制，可以以允许每个数据元素本身自描述的方式收集，验证和存储自描述数据。 存储数据的方式可以类似于“数据化学”，由此将数据存储在与描述性元数据（例如，标签）耦合的最小有意义的位（例如，原子）中。 在具体示例中，数据网络维护健康相关数据，其中每个元素包括用描述性元数据包裹的核心数据元素。 可以使用描述性元数据（例如，标签）来相互关联用于存储的数据元素，并且有助于整体上有效地遍历数据网络。