公开(公告)号：US20130095924A1

公开(公告)日：2013-04-18

申请号：US13631511

申请日：2012-09-28

申请人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  John Clavin

发明人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  John Clavin

IPC分类号： A63F13/00

CPC分类号： A63F13/213 ,  A63F2300/1093 ,  A63F2300/204 ,  A63F2300/301 ,  A63F2300/6676 ,  A63F2300/69 ,  G02B27/017 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/012 ,  G06F3/013 ,  G06T19/006 ,  G09B19/0038 ,  H04N13/344 ,  H04N13/366 ,  H04N13/383

摘要： Technology is described for providing a personalized sport performance experience with three dimensional (3D) virtual data displayed by a near-eye, augmented reality display of a personal audiovisual (A/V) apparatus. A physical movement recommendation is determined for the user performing a sport based on skills data for the user for the sport, physical characteristics of the user, and 3D space positions for at least one or more sport objects. 3D virtual data depicting one or more visual guides for assisting the user in performing the physical movement recommendation may be displayed from a user perspective associated with a display field of view of the near-eye AR display. An avatar may also be displayed by the near-eye AR display performing a sport. The avatar may perform the sport interactively with the user or be displayed performing a prior performance of an individual represented by the avatar.

摘要翻译： 描述了技术，用于通过个人视听（A / V）设备的近眼，增强现实显示显示的三维（3D）虚拟数据来提供个性化的运动表现体验。 基于运动用户的技能数据，用户的身体特征以及用于至少一个或多个运动对象的3D空间位置，为执行运动的用户确定身体运动推荐。 可以从与近眼AR显示器的显示视野相关联的用户视角来显示描绘用于辅助用户执行物理移动推荐的一个或多个视觉指南的3D虚拟数据。 化身也可以由执行运动的近眼AR显示器显示。 化身可以与用户交互地执行运动，或者显示执行由化身表示的个人的先前的表现。

公开(公告)号：US20130083062A1

公开(公告)日：2013-04-04

申请号：US13431135

申请日：2012-03-27

申请人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez ,  Ryan L. Hastings ,  Darren Bennett ,  Daniel J. McCulloch ,  John Clavin ,  Jason Scott

发明人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez ,  Ryan L. Hastings ,  Darren Bennett ,  Daniel J. McCulloch ,  John Clavin ,  Jason Scott

IPC分类号： G09G5/377

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G06F3/013 ,  G09G3/003 ,  G09G2354/00 ,  G09G2380/00 ,  H04N13/271 ,  H04N13/344

摘要： A system for generating an augmented reality environment in association with one or more attractions or exhibits is described. In some cases, a see-through head-mounted display device (HMD) may acquire one or more virtual objects from a supplemental information provider associated with a particular attraction. The one or more virtual objects may be based on whether an end user of the HMD is waiting in line for the particular attraction or is on (or in) the particular attraction. The supplemental information provider may vary the one or more virtual objects based on the end user's previous experiences with the particular attraction. The HMD may adapt the one or more virtual objects based on physiological feedback from the end user (e.g., if a child is scared). The supplemental information provider may also provide and automatically update a task list associated with the particular attraction.

摘要翻译： 描述了与一个或多个景点或展览相关联地生成增强现实环境的系统。 在某些情况下，透视式头戴显示设备（HMD）可以从与特定景点相关联的补充信息提供者获取一个或多个虚拟对象。 一个或多个虚拟对象可以基于HMD的最终用户是否等待特定的吸引力，或者是在特定的吸引力上（或者在）特定的吸引力。 补充信息提供者可以基于最终用户之前具有特定吸引力的体验改变一个或多个虚拟对象。 HMD可以基于来自最终用户的生理反馈（例如，如果孩子被吓到）来适配一个或多个虚拟对象。 补充信息提供者还可以提供并自动更新与该特定景点相关联的任务列表。

公开(公告)号：US20130050432A1

公开(公告)日：2013-02-28

申请号：US13221770

申请日：2011-08-30

申请人： Kathryn Stone Perez ,  Benjamin I. Vaught ,  John R. Lewis ,  Robert L. Crocco ,  Alex Aben-Athar Kipman

发明人： Kathryn Stone Perez ,  Benjamin I. Vaught ,  John R. Lewis ,  Robert L. Crocco ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00 ,  H04N13/02

CPC分类号： G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/013 ,  G06F3/017 ,  H04N13/279 ,  H04N13/344 ,  H04N13/383

摘要： Technology is disclosed for enhancing the experience of a user wearing a see-through, near eye mixed reality display device. Based on an arrangement of gaze detection elements on each display optical system for each eye of the display device, a respective gaze vector is determined and a current user focal region is determined based on the gaze vectors. Virtual objects are displayed at their respective focal regions in a user field of view for a natural sight view. Additionally, one or more objects of interest to a user may be identified. The identification may be based on a user intent to interact with the object. For example, the intent may be determined based on a gaze duration. Augmented content may be projected over or next to an object, real or virtual. Additionally, a real or virtual object intended for interaction may be zoomed in or out.

摘要翻译： 公开了用于增强佩戴透明近眼睛混合现实显示装置的用户体验的技术。 基于在显示装置的每个眼睛的每个显示光学系统上的注视检测元件的布置，确定相应的注视向量，并且基于注视向量来确定当前用户聚焦区域。 在用户视野中的虚拟对象在其各自的焦点区域处显示，用于自然视野。 另外，可以识别用户感兴趣的一个或多个对象。 识别可以基于用户与对象交互的意图。 例如，可以基于注视持续时间来确定意图。 增强的内容可以投射在对象的真实或虚拟的上方或旁边。 另外，可以放大或缩小用于交互的实际或虚拟对象。

公开(公告)号：US20120162065A1

公开(公告)日：2012-06-28

申请号：US13410681

申请日：2012-03-02

申请人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Mark Finocchio ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

发明人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Mark Finocchio ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

IPC分类号： G06F3/01

CPC分类号： G06K9/00342 ,  G06K9/00369

摘要： A system and method are disclosed for recognizing and tracking a user's skeletal joints with a NUI system and further, for recognizing and tracking only some skeletal joints, such as for example a user's upper body. The system may include a limb identification engine which may use various methods to evaluate, identify and track positions of body parts of one or more users in a scene. In examples, further processing efficiency may be achieved by segmenting the field of view in smaller zones, and focusing on one zone at a time. Moreover, each zone may have its own set of predefined gestures which are recognized.

摘要翻译： 公开了一种用于识别和跟踪用户与NUI系统的骨骼关节的系统和方法，并且还用于仅识别和跟踪某些骨骼关节，例如用户的上身。 系统可以包括肢体识别引擎，其可以使用各种方法来评估，识别和跟踪场景中的一个或多个用户的身体部位的位置。 在示例中，可以通过在较小区域中分割视野并且一次聚焦于一个区域来实现进一步的处理效率。 此外，每个区域可以具有自己识别的一组预定义的手势。

公开(公告)号：US20110317871A1

公开(公告)日：2011-12-29

申请号：US12825657

申请日：2010-06-29

申请人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

发明人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

IPC分类号： G06K9/00

CPC分类号： G06K9/00342 ,  G06K9/00369

摘要： A system and method are disclosed for recognizing and tracking a user's skeletal joints with a NUI system and further, for recognizing and tracking only some skeletal joints, such as for example a user's upper body. The system may include a limb identification engine which may use various methods to evaluate, identify and track positions of body parts of one or more users in a scene. In examples, further processing efficiency may be achieved by segmenting the field of view in smaller zones, and focusing on one zone at a time. Moreover, each zone may have its own set of predefined gestures which are recognized.

摘要翻译： 公开了一种用于识别和跟踪用户与NUI系统的骨骼关节的系统和方法，并且还用于仅识别和跟踪某些骨骼关节，例如用户的上身。 系统可以包括肢体识别引擎，其可以使用各种方法来评估，识别和跟踪场景中的一个或多个用户的身体部位的位置。 在示例中，可以通过在较小区域中分割视野并且一次聚焦于一个区域来实现进一步的处理效率。 此外，每个区域可以具有自己识别的一组预定义的手势。

公开(公告)号：US20110300929A1

公开(公告)日：2011-12-08

申请号：US12792961

申请日：2010-06-03

申请人： John A. Tardif ,  Kathryn Stone Perez ,  Alex Aben-Athar Kipman ,  Dawson Yee

发明人： John A. Tardif ,  Kathryn Stone Perez ,  Alex Aben-Athar Kipman ,  Dawson Yee

IPC分类号： A63F13/00 ,  G06K9/40 ,  G06K9/36

CPC分类号： A63F13/63 ,  A63F13/213 ,  A63F13/215 ,  A63F2300/1018 ,  A63F2300/1087 ,  A63F2300/6072 ,  A63F2300/6081

摘要： A system and method are disclosed for synthesizing information received from multiple audio and visual sources focused on a single scene. The system may determine the positions of capture devices based on a common set of cues identified in the image data of the capture devices. As a scene may often have users and objects moving into and out of the scene, data from the multiple capture devices may be time synchronized to ensure that data from the audio and visual sources are providing data of the same scene at the same time. Audio and/or visual data from the multiple sources may be reconciled and assimilated together to improve an ability of the system to interpret audio and/or visual aspects from the scene.

摘要翻译： 公开了一种用于合成从聚焦在单个场景上的多个音频和视频源接收的信息的系统和方法。 系统可以基于在捕获设备的图像数据中识别的一组公共信号来确定捕获设备的位置。 由于场景通常可能使用户和对象进出场景，来自多个捕获设备的数据可能是时间同步的，以确保来自音频和视频源的数据同时提供相同场景的数据。 来自多个源的音频和/或视觉数据可以一起协调和同化，以提高系统从场景中解释音频和/或视觉方面的能力。

公开(公告)号：US09417692B2

公开(公告)日：2016-08-16

申请号：US13538683

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Jeffrey Neil Margolis

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Jeffrey Neil Margolis

IPC分类号： G09G5/00 ,  G06F3/01 ,  G02B27/01 ,  G06F1/16 ,  G06F3/03

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/014 ,  G02B2027/0141 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F1/163 ,  G06F3/012 ,  G06F3/013 ,  G06F3/0304

摘要： Techniques are provided for rendering, in a see-through, near-eye mixed reality display, a virtual object within a virtual hole, window or cutout. The virtual hole, window or cutout may appear to be within some real world physical object such as a book, table, etc. The virtual object may appear to be just below the surface of the physical object. In a sense, the virtual world could be considered to be a virtual container that provides developers with additional locations for presenting virtual objects. For example, rather than rendering a virtual object, such as a lamp, in a mixed reality display such that appears to sit on top of a real world desk, the virtual object is rendered such that it appears to be located below the surface of the desk.

摘要翻译： 提供了技术，用于在透视，近眼混合现实显示，虚拟孔，窗口或切口内的虚拟对象中渲染。 虚拟孔，窗口或切口可能看起来像一些真实世界的物体，如书，桌等。虚拟对象可能看起来就在物理对象的表面之下。 在某种意义上，虚拟世界可以被认为是一个虚拟容器，为开发人员提供了用于呈现虚拟对象的更多位置。 例如，虚拟对象不是将虚拟对象（例如灯）呈现在混合现实显示器中，使得它似乎位于真实世界桌面的顶部，而是呈现出虚拟对象，使其看起来位于 台。

公开(公告)号：US09400548B2

公开(公告)日：2016-07-26

申请号：US12581443

申请日：2009-10-19

申请人： Zhengyou Zhang ,  Alex Aben-Athar Kipman ,  Kenneth Alan Lobb ,  Joseph Reginald Scott Molnar

发明人： Zhengyou Zhang ,  Alex Aben-Athar Kipman ,  Kenneth Alan Lobb ,  Joseph Reginald Scott Molnar

IPC分类号： G06F3/033 ,  G06F3/01 ,  A63F13/20 ,  A63F13/40 ,  G06K9/00

CPC分类号： G06F3/011 ,  A63F13/06 ,  A63F13/10 ,  A63F13/22 ,  A63F13/424 ,  A63F13/428 ,  A63F13/77 ,  A63F13/79 ,  A63F2300/1093 ,  A63F2300/552 ,  A63F2300/5546 ,  A63F2300/6045 ,  G06F3/017 ,  G06K9/00335

摘要： A gesture-based system may have default or pre-packaged gesture information, where a gesture is derived from a user's position or motion in a physical space. In other words, no controllers or devices are necessary. Depending on how a user uses his or her gesture to accomplish the task, the system may refine the properties and the gesture may become personalized. The personalized gesture information may be stored in a gesture profile and can be further updated with the latest data. The gesture-based system may use the gesture profile information for gesture recognition techniques. Further, the gesture profile may be roaming such that the gesture profile is available in a second location without requiring the system to relearn gestures that have already been personalized on behalf of the user.

摘要翻译： 基于手势的系统可以具有默认或预先打包的手势信息，其中手势是从用户在物理空间中的位置或运动导出的。 换句话说，不需要控制器或设备。 取决于用户如何使用他或她的手势来完成任务，系统可以改进属性并且手势可以变得个性化。 个性化手势信息可以存储在手势简档中，并且可以用最新数据进一步更新。 基于手势的系统可以使用用于手势识别技术的姿势简档信息。 此外，姿势简档可以漫游，使得手势配置文件在第二位置可用，而不需要系统重新学习已经代表用户个性化的手势。

公开(公告)号：US20160210789A1

公开(公告)日：2016-07-21

申请号：US15083229

申请日：2016-03-28

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G06T19/00 ,  G02B27/01 ,  G06F3/01

CPC分类号： G06T19/006 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0174 ,  G06F3/013 ,  G06F3/017 ,  G06F3/1431 ,  G09G3/003 ,  G09G2370/022 ,  G09G2380/14 ,  H04N2213/008

摘要： A system for allowing a virtual object to interact with other virtual objects across different spaces within an augmented reality (AR) environment and to transition between the different spaces is described. An AR environment may include a plurality of spaces, each comprising a bounded area or volume within the AR environment. In one example, an AR environment may be associated with a three-dimensional world space and a two-dimensional object space corresponding with a page of a book within the AR environment. A virtual object within the AR environment may be assigned to the object space and transition from the two-dimensional object space to the three-dimensional world space upon the detection of a space transition event. In some cases, a dual representation of the virtual object may be used to detect interactions between the virtual object and other virtual objects in both the world space and the object space.

摘要翻译： 描述了允许虚拟对象在扩充现实（AR）环境内的不同空间之间与其他虚拟对象交互并在不同空间之间转换的系统。 AR环境可以包括多个空间，每个空间包括AR环境内的有界区域或卷。 在一个示例中，AR环境可以与三维世界空间和对应于AR环境中的书页的二维对象空间相关联。 AR环境中的虚拟对象可以被分配给对象空间，并且在检测到空间转换事件时从二维对象空间转换到三维世界空间。 在某些情况下，可以使用虚拟对象的双重表示来检测虚拟对象与世界空间和对象空间中的其他虚拟对象之间的交互。

公开(公告)号：US09285871B2

公开(公告)日：2016-03-15

申请号：US13431135

申请日：2012-03-27

申请人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez ,  Ryan L. Hastings ,  Darren Bennett ,  Daniel J. McCulloch ,  John Clavin ,  Jason Scott

发明人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez ,  Ryan L. Hastings ,  Darren Bennett ,  Daniel J. McCulloch ,  John Clavin ,  Jason Scott

IPC分类号： G06F3/01 ,  G02B27/01 ,  H04N13/02 ,  H04N13/04 ,  G09G3/00

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G06F3/013 ,  G09G3/003 ,  G09G2354/00 ,  G09G2380/00 ,  H04N13/271 ,  H04N13/344

摘要： A system for generating an augmented reality environment in association with one or more attractions or exhibits is described. In some cases, a see-through head-mounted display device (HMD) may acquire one or more virtual objects from a supplemental information provider associated with a particular attraction. The one or more virtual objects may be based on whether an end user of the HMD is waiting in line for the particular attraction or is on (or in) the particular attraction. The supplemental information provider may vary the one or more virtual objects based on the end user's previous experiences with the particular attraction. The HMD may adapt the one or more virtual objects based on physiological feedback from the end user (e.g., if a child is scared). The supplemental information provider may also provide and automatically update a task list associated with the particular attraction.

摘要翻译： 描述了与一个或多个景点或展览相关联地生成增强现实环境的系统。 在某些情况下，透视式头戴显示设备（HMD）可以从与特定景点相关联的补充信息提供者获取一个或多个虚拟对象。 一个或多个虚拟对象可以基于HMD的最终用户是否等待特定的吸引力，或者是在特定的吸引力上（或者在）特定的吸引力。 补充信息提供者可以基于最终用户之前具有特定吸引力的体验改变一个或多个虚拟对象。 HMD可以基于来自最终用户的生理反馈（例如，如果孩子被吓到）来适配一个或多个虚拟对象。 补充信息提供者还可以提供并自动更新与该特定景点相关联的任务列表。