公开(公告)号：US09183676B2

公开(公告)日：2015-11-10

申请号：US13458800

申请日：2012-04-27

申请人： Daniel J. McCulloch ,  Stephen G. Latta ,  Brian J. Mount ,  Kevin A. Geisner ,  Roger Sebastian Kevin Sylvan ,  Arnulfo Zepeda Navratil ,  Jason Scott ,  Jonathan T. Steed ,  Ben J. Sugden ,  Britta Silke Hummel ,  Kyungsuk David Lee ,  Mark J. Finocchio ,  Alex Aben-Athar Kipman ,  Jeffrey N. Margolis

发明人： Daniel J. McCulloch ,  Stephen G. Latta ,  Brian J. Mount ,  Kevin A. Geisner ,  Roger Sebastian Kevin Sylvan ,  Arnulfo Zepeda Navratil ,  Jason Scott ,  Jonathan T. Steed ,  Ben J. Sugden ,  Britta Silke Hummel ,  Kyungsuk David Lee ,  Mark J. Finocchio ,  Alex Aben-Athar Kipman ,  Jeffrey N. Margolis

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  G06T2210/21

摘要： Technology is described for displaying a collision between objects by an augmented reality display device system. A collision between a real object and a virtual object is identified based on three dimensional space position data of the objects. At least one effect on at least one physical property of the real object is determined based on physical properties of the real object, like a change in surface shape, and physical interaction characteristics of the collision. Simulation image data is generated and displayed simulating the effect on the real object by the augmented reality display. Virtual objects under control of different executing applications can also interact with one another in collisions.

摘要翻译： 描述了用于通过增强现实显示设备系统显示对象之间的冲突的技术。 基于对象的三维空间位置数据来识别真实对象和虚拟对象之间的冲突。 基于真实物体的物理性质，如表面形状的变化和碰撞的物理相互作用特性，确定对真实物体的至少一种物理性质的至少一种影响。 通过增强现实显示模拟图像数据，模拟对真实物体的影响。 在不同执行应用程序的控制下的虚拟对象也可以在冲突中相互交互。

公开(公告)号：US20150234475A1

公开(公告)日：2015-08-20

申请号：US14703789

申请日：2015-05-04

申请人： Stephen G. Latta ,  Brian J. Mount ,  Adam G. Poulos ,  Jeffrey A. Kohler ,  Arthur C. Tomlin ,  Jonathan T. Steed

发明人： Stephen G. Latta ,  Brian J. Mount ,  Adam G. Poulos ,  Jeffrey A. Kohler ,  Arthur C. Tomlin ,  Jonathan T. Steed

IPC分类号： G06F3/01

CPC分类号： G06F3/017

摘要： Methods for recognizing gestures using adaptive multi-sensor gesture recognition are described. In some embodiments, a gesture recognition system receives a plurality of sensor inputs from a plurality of sensor devices and a plurality of confidence thresholds associated with the plurality of sensor inputs. A confidence threshold specifies a minimum confidence value for which it is deemed that a particular gesture has occurred. Upon detection of a compensating event, such as excessive motion involving one of the plurality of sensor devices, the gesture recognition system may modify the plurality of confidence thresholds based on the compensating event. Subsequently, the gesture recognition system generates a multi-sensor confidence value based on whether at least a subset of the plurality of confidence thresholds has been satisfied. The gesture recognition system may also modify the plurality of confidence thresholds based on the plugging and unplugging of sensor inputs from the gesture recognition system.

摘要翻译： 描述使用自适应多传感器手势识别识别手势的方法。 在一些实施例中，手势识别系统从多个传感器装置接收多个传感器输入以及与多个传感器输入相关联的多个置信阈值。 置信度阈值指定认为特定手势发生的最小置信度值。 在检测到诸如涉及多个传感器设备中的一个的过度运动的补偿事件时，手势识别系统可以基于补偿事件修改多个置信阈值。 随后，手势识别系统基于是否已经满足多个置信阈值的至少一个子集来生成多传感器置信度值。 手势识别系统还可以基于来自手势识别系统的传感器输入的插入和拔出来修改多个置信阈值。

公开(公告)号：US09030408B2

公开(公告)日：2015-05-12

申请号：US13689524

申请日：2012-11-29

申请人： Stephen G. Latta ,  Brian J. Mount ,  Adam G. Poulos ,  Jeffrey A. Kohler ,  Arthur C. Tomlin ,  Jonathan T. Steed

发明人： Stephen G. Latta ,  Brian J. Mount ,  Adam G. Poulos ,  Jeffrey A. Kohler ,  Arthur C. Tomlin ,  Jonathan T. Steed

IPC分类号： G06F3/01

CPC分类号： G06F3/017

摘要： Methods for recognizing gestures using adaptive multi-sensor gesture recognition are described. In some embodiments, a gesture recognition system receives a plurality of sensor inputs from a plurality of sensor devices and a plurality of confidence thresholds associated with the plurality of sensor inputs. A confidence threshold specifies a minimum confidence value for which it is deemed that a particular gesture has occurred. Upon detection of a compensating event, such as excessive motion involving one of the plurality of sensor devices, the gesture recognition system may modify the plurality of confidence thresholds based on the compensating event. Subsequently, the gesture recognition system generates a multi-sensor confidence value based on whether at least a subset of the plurality of confidence thresholds has been satisfied. The gesture recognition system may also modify the plurality of confidence thresholds based on the plugging and unplugging of sensor inputs from the gesture recognition system.

摘要翻译： 描述使用自适应多传感器手势识别识别手势的方法。 在一些实施例中，手势识别系统从多个传感器装置接收多个传感器输入以及与多个传感器输入相关联的多个置信阈值。 置信度阈值指定认为特定手势发生的最小置信度值。 在检测到诸如涉及多个传感器设备中的一个的过度运动的补偿事件时，手势识别系统可以基于补偿事件修改多个置信阈值。 随后，手势识别系统基于是否已经满足多个置信阈值的至少一个子集来生成多传感器置信度值。 手势识别系统还可以基于来自手势识别系统的传感器输入的插入和拔出来修改多个置信阈值。

公开(公告)号：US20130335405A1

公开(公告)日：2013-12-19

申请号：US13525700

申请日：2012-06-18

申请人： Michael J. Scavezze ,  Jonathan T. Steed ,  Ryan L. Hastings ,  Stephen G. Latta ,  Daniel J. McCulloch

发明人： Michael J. Scavezze ,  Jonathan T. Steed ,  Ryan L. Hastings ,  Stephen G. Latta ,  Daniel J. McCulloch

IPC分类号： G06T15/00

CPC分类号： A63F13/40 ,  A63F13/10 ,  A63F2300/10 ,  A63F2300/1031 ,  A63F2300/105 ,  A63F2300/30 ,  A63F2300/301 ,  A63F2300/302 ,  A63F2300/308 ,  A63F2300/6045 ,  A63F2300/8082 ,  G06T19/20 ,  G06T2219/2016 ,  G06T2219/2021

摘要： A system and method are disclosed for building and experiencing three-dimensional virtual objects from within a virtual environment in which they will be viewed upon completion. A virtual object may be created, edited and animated using a natural user interface while the object is displayed to the user in a three-dimensional virtual environment.

摘要翻译： 公开了一种系统和方法，用于从虚拟环境中构建和体验三维虚拟对象，在虚拟环境中将完成它们的查看。 可以在三维虚拟环境中将对象显示给用户时，使用自然用户界面来创建，编辑和动画虚拟对象。

公开(公告)号：US20130328925A1

公开(公告)日：2013-12-12

申请号：US13494840

申请日：2012-06-12

申请人： Stephen G. Latta ,  Adam G. Poulos ,  Daniel J. McCulloch ,  Jeffrey Cole ,  Wei Zhang

发明人： Stephen G. Latta ,  Adam G. Poulos ,  Daniel J. McCulloch ,  Jeffrey Cole ,  Wei Zhang

IPC分类号： G09G5/00

CPC分类号： G09G3/003 ,  G02B27/0093 ,  G02B27/017 ,  G02B2027/0187 ,  G06F3/013 ,  G06F3/017 ,  G06F2203/0381 ,  G06T19/006 ,  G06T2219/024 ,  G09G2320/0693

摘要： A system and method are disclosed for interpreting user focus on virtual objects in a mixed reality environment. Using inference, express gestures and heuristic rules, the present system determines which of the virtual objects the user is likely focused on and interacting with. At that point, the present system may emphasize the selected virtual object over other virtual objects, and interact with the selected virtual object in a variety of ways.

摘要翻译： 公开了一种用于在混合现实环境中解释用户对虚拟对象的关注的系统和方法。 使用推理，表达手势和启发式规则，本系统确定用户可能关注和交互的哪些虚拟对象。 在这一点上，本系统可以强调所选择的虚拟对象超过其他虚拟对象，并且以各种方式与所选择的虚拟对象进行交互。

公开(公告)号：US20130326364A1

公开(公告)日：2013-12-05

申请号：US13485511

申请日：2012-05-31

申请人： Stephen G. Latta ,  Adam G. Poulos ,  Daniel J. McCulloch ,  Wei Zhang

发明人： Stephen G. Latta ,  Adam G. Poulos ,  Daniel J. McCulloch ,  Wei Zhang

IPC分类号： G06F3/048

CPC分类号： G06F3/012 ,  G02B27/017 ,  G06F3/011 ,  G06F3/0346 ,  G06T19/006

摘要： A system and method are disclosed for positioning and sizing virtual objects in a mixed reality environment in a way that is optimal and most comfortable for a user to interact with the virtual objects.

摘要翻译： 公开了一种系统和方法，用于以混合现实环境中的虚拟对象的定位和尺寸调整方式，使得用户与虚拟对象交互是最佳和最舒适的。

公开(公告)号：US20130044129A1

公开(公告)日：2013-02-21

申请号：US13214037

申请日：2011-08-19

申请人： Stephen G. Latta ,  Benjamin I. Vaught ,  Craig R. Maitlen ,  Christopher M. Novak

发明人： Stephen G. Latta ,  Benjamin I. Vaught ,  Craig R. Maitlen ,  Christopher M. Novak

IPC分类号： G09G5/00

CPC分类号： G09G5/00 ,  G06F3/011 ,  G09G3/002 ,  G09G3/3413 ,  G09G5/12 ,  G09G5/14 ,  G09G2340/12 ,  G09G2354/00 ,  G09G2370/10 ,  H04N13/279 ,  H04N13/344

摘要： The technology provides embodiments for providing a location-based skin for a see-through, mixed reality display device system. In many embodiments, a location-based skin includes a virtual object viewable by a see-through, mixed reality display device system which has been detected in a specific location. Some location-based skins implement an ambient effect. The see-through, mixed reality display device system is detected to be present in a location and receives and displays a skin while in the location in accordance with user settings. User data may be uploaded and displayed in a skin in accordance with user settings. A location may be a physical space at a fixed position and may also be a space defined relative to a position of a real object, for example, another see-through, mixed reality display device system. Furthermore, a location may be a location within another location.

摘要翻译： 该技术提供了用于为透视，混合现实显示设备系统提供基于位置的皮肤的实施例。 在许多实施例中，基于位置的皮肤包括可以通过在特定位置检测到的透视混合现实显示设备系统来查看的虚拟对象。 一些基于位置的外观实现环境效果。 检测到透视混合现实显示设备系统存在于一个位置，并根据用户设置在该位置接收和显示皮肤。 用户数据可以根据用户设置上传并显示在皮肤中。 位置可以是固定位置处的物理空间，并且也可以是相对于真实对象（例如，另一个透视，混合现实显示设备系统）的位置定义的空间。 此外，位置可以是另一位置内的位置。

公开(公告)号：US09583032B2

公开(公告)日：2017-02-28

申请号：US13488966

申请日：2012-06-05

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Sheridan Martin Small ,  Stephen G. Latta

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Sheridan Martin Small ,  Stephen G. Latta

IPC分类号： G06F3/01 ,  G09G3/00

CPC分类号： G09G3/003

摘要： Technology is disclosed herein to help a user navigate through large amounts of content while wearing a see-through, near-eye, mixed reality display device such as a head mounted display (HMD). The user can use a physical object such as a book to navigate through content being presented in the HMD. In one embodiment, a book has markers on the pages that allow the system to organize the content. The book could have real content, but it could be blank other than the markers. As the user flips through the book, the system recognizes the markers and presents content associated with the respective marker in the HMD.

摘要翻译： 本文公开了技术，以帮助用户穿戴大量的内容，同时佩戴透视，近眼，混合的现实显示设备，例如头戴式显示器（HMD）。 用户可以使用诸如书籍的物理对象来浏览在HMD中呈现的内容。 在一个实施例中，书在页面上具有允许系统组织内容的标记。 这本书可以有真实的内容，但除了标记之外它可能是空白的。 当用户翻转书本时，系统识别标记并呈现与HMD中各标记相关的内容。

公开(公告)号：US20160371886A1

公开(公告)日：2016-12-22

申请号：US14746789

申请日：2015-06-22

申请人： Joe Thompson ,  Dan Osborn ,  Tarek Hefny ,  Stephen G. Latta ,  Forest Woodcroft Gouin ,  James Nakashima ,  Megan Saunders ,  Anatolie Gavriliuc ,  Alberto E. Cerriteno ,  Shawn Crispin Wright

发明人： Joe Thompson ,  Dan Osborn ,  Tarek Hefny ,  Stephen G. Latta ,  Forest Woodcroft Gouin ,  James Nakashima ,  Megan Saunders ,  Anatolie Gavriliuc ,  Alberto E. Cerriteno ,  Shawn Crispin Wright

IPC分类号： G06T19/00 ,  G02B27/01 ,  G06T19/20 ,  G06F3/01 ,  G06T11/20

CPC分类号： G06T19/006 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0174 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/013 ,  G06F3/0304 ,  G06T11/203 ,  G06T19/20 ,  G06T2219/2012 ,  G06T2219/2021

摘要： A method for operating a computing device is described herein. The method includes determining a user's gaze direction based on a gaze input, determining an intersection between the user's gaze direction and an identified environmental surface in a 3-dimensional environment, and generating a drawing surface based on the intersection within a user interface on a display.

摘要翻译： 本文描述了一种用于操作计算设备的方法。 该方法包括基于注视输入来确定用户的注视方向，确定用户的注视方向和三维环境中的识别的环境表面之间的交点，以及基于显示器上的用户界面内的交点生成绘图面 。

公开(公告)号：US20150331240A1

公开(公告)日：2015-11-19

申请号：US14279146

申请日：2014-05-15

申请人： Adam G. Poulos ,  Cameron G. Brown ,  Stephen G. Latta ,  Brian J. Mount ,  Daniel J. McCulloch

发明人： Adam G. Poulos ,  Cameron G. Brown ,  Stephen G. Latta ,  Brian J. Mount ,  Daniel J. McCulloch

IPC分类号： G02B27/01

CPC分类号： G02B27/017 ,  G02B27/0179 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/013 ,  G06F16/9535 ,  G06T19/006

摘要： Assisted viewing of web-based resources by an end user of a head-mounted display device (HMD) is described. An HMD may display content from web-based resources using a see-through display while tracking eye and head movement of the end user viewing the content within an augmented reality environment. Active view regions within the see-through display are identified based on tracking information including eye gaze data and head direction data. The web-based resources are analyzed to identify content and display elements. The analysis is correlated with the active view regions to identify the underlying content that is a desired point of focus of a corresponding active view region, as well as to identify the display elements corresponding to that content. A web-based resource is modified based on the correlation. The content from the web-based resource is displayed based on the modifications to assist the end user in viewing the web-based resource.

摘要翻译： 描述了头戴式显示设备（HMD）的终端用户辅助查看基于web的资源。 HMD可以使用透视显示来显示来自基于网络资源的内容，同时跟踪在增强现实环境中观看内容的最终用户的眼睛和头部移动。 基于包括眼睛注视数据和头部方向数据的跟踪信息来识别直通显示器内的主动视区。 分析基于网络的资源，以识别内容和显示元素。 该分析与活动视图区域相关，以识别作为相应主动视区的期望焦点的底层内容，以及识别对应于该内容的显示元素。 基于相关性修改基于Web的资源。 基于网络资源的内容将基于修改进行显示，以帮助最终用户查看基于Web的资源。