公开(公告)号：US09384737B2

公开(公告)日：2016-07-05

申请号：US13538731

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G10L17/20 ,  G10L15/20 ,  G10L21/02 ,  G10L17/00 ,  H03G3/10

CPC分类号： G10L17/00 ,  H03G3/10

摘要： A system for generating one or more enhanced audio signals such that one or more sound levels corresponding with sounds received from one or more sources of sound within an environment may be dynamically adjusted based on contextual information is described. The one or more enhanced audio signals may be generated by a head-mounted display device (HMD) worn by an end user within the environment and outputted to earphones associated with the HMD such that the end user may listen to the one or more enhanced audio signals in real-time. In some cases, each of the one or more sources of sound may correspond with a priority level. The priority level may be dynamically assigned depending on whether the end user of the HMD is focusing on a particular source of sound or has specified a predetermined level of importance corresponding with the particular source of sound.

摘要翻译： 描述了一种用于生成一个或多个增强音频信号的系统，以便可以基于上下文信息来动态地调整与环境中的一个或多个声源所接收的声音相对应的一个或多个声级。 一个或多个增强音频信号可以由环境中终端用户佩戴的头戴式显示设备（HMD）产生，并且输出到与HMD相关联的耳机，使得终端用户可以收听一个或多个增强音频 信号实时。 在一些情况下，一个或多个声源中的每一个可以对应于优先级。 可以根据HMD的最终用户是聚焦于特定的声源还是指定了与特定的声源相对应的预定重要程度，来动态地分配优先级。

公开(公告)号：US09274594B2

公开(公告)日：2016-03-01

申请号：US12789768

申请日：2010-05-28

申请人： Kathryn Stone Perez ,  Alex Aben-Athar Kipman ,  John Clavin ,  Joseph Molnar ,  Aaron E. Kornblum

发明人： Kathryn Stone Perez ,  Alex Aben-Athar Kipman ,  John Clavin ,  Joseph Molnar ,  Aaron E. Kornblum

IPC分类号： G06F3/01 ,  G06F21/32 ,  G06F21/34

CPC分类号： G06F3/011 ,  G06F3/017 ,  G06F21/32 ,  G06F21/34

摘要： A system and method is disclosed for sensing, storing and using personal trait profile data. Once sensed and stored, this personal trait profile data may be used for a variety of purposes. In one example, a user's personal trait profile data may be accessed and downloaded to different computing systems with which a user may interact so that the different systems may be instantly tuned to the user's personal traits and manner of interaction. In a further example, a user's personal trait profile data may also be used for authentication purposes.

摘要翻译： 公开了用于感测，存储和使用个人特征简档数据的系统和方法。 一旦被感测和存储，该个人特征简档数据可以用于各种目的。 在一个示例中，可以访问用户的个人特征简档数据并将其下载到用户可以与之交互的不同计算系统，使得不同的系统可以被立即调整到用户的个人特征和交互方式。 在另一示例中，用户的个人特征简档数据也可以用于认证目的。

公开(公告)号：US09116666B2

公开(公告)日：2015-08-25

申请号：US13487079

申请日：2012-06-01

申请人： Tom G. Salter ,  Alex Aben-Athar Kipman ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Mathew J. Lamb

发明人： Tom G. Salter ,  Alex Aben-Athar Kipman ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Mathew J. Lamb

IPC分类号： G09G5/00 ,  G06F1/16 ,  G06F3/01 ,  G06F3/147

CPC分类号： G06F1/163 ,  G06F3/011 ,  G06F3/017 ,  G06F3/147

摘要： Techniques are provided for allowing a user to select a region within virtual imagery, such as a hologram, being presented in an HMD. The user could select the region by using their hands to form a closed loop such that from the perspective of the user, the closed loop corresponds to the region the user wishes to select. The user could select the region by using a prop, such as a picture frame. In response to the selection, the selected region could be presented using a different rendering technique than other regions of the virtual imagery. Various rendering techniques such as zooming, filtering, etc. could be applied to the selected region. The identification of the region by the user could also serve as a selection of an element in that portion of the virtual image.

摘要翻译： 提供了技术来允许用户选择呈现在HMD中的虚拟图像（例如全息图）内的区域。 用户可以通过使用他们的手来选择该区域以形成闭环，使得从用户的角度来看，闭环对应于用户希望选择的区域。 用户可以通过使用支架（如相框）来选择该区域。 响应于选择，可以使用与虚拟图像的其他区域不同的渲染技术呈现所选择的区域。 各种渲染技术，例如缩放，滤波等可以应用于所选择的区域。 用户对区域的识别也可以用作该虚拟图像的该部分中的元素的选择。

公开(公告)号：US09035970B2

公开(公告)日：2015-05-19

申请号：US13538848

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/14 ,  G02B27/01 ,  G06F3/14 ,  G06T19/00 ,  G09G3/00

CPC分类号： G09G5/00 ,  G02B27/017 ,  G02B2027/0134 ,  G02B2027/0138 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/14 ,  G06F3/147 ,  G06T19/006 ,  G09G3/003 ,  G09G2370/022 ,  G09G2380/14

摘要： A system for identifying an AR tag and determining a location for a virtual object within an augmented reality environment corresponding with the AR tag is described. In some environments, the location of a virtual object corresponding with a particular AR tag may be determined by identifying a predefined object, determining an orientation and a scale of the predefined object relative to a head-mounted display device (HMD) based on a model of the predefined object, and inferring the location of the virtual object based on the orientation and the scale of the predefined object. In some cases, an identification of the particular AR tag corresponding with the virtual object may be acquired by aggregating and analyzing individual identity determinations from a plurality of HMDs within an augmented reality environment.

摘要翻译： 描述用于识别AR标签并确定与AR标签相对应的增强现实环境中的虚拟对象的位置的系统。 在一些环境中，可以通过识别预定义对象来确定与特定AR标签对应的虚拟对象的位置，基于模型确定预定对象相对于头戴式显示设备（HMD）的方向和尺度 ，并且基于预定义对象的取向和比例来推断虚拟对象的位置。 在一些情况下，可以通过在增强现实环境内聚合和分析来自多个HMD的个体身份确定来获取与虚拟对象相对应的特定AR标签的识别。

公开(公告)号：US20150049114A1

公开(公告)日：2015-02-19

申请号：US14472267

申请日：2014-08-28

申请人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

发明人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

IPC分类号： G09G3/00 ,  A63F13/816 ,  A63B71/00 ,  G02B27/01 ,  G06T19/00

CPC分类号： G09G3/003 ,  A63B71/00 ,  A63F13/02 ,  A63F13/216 ,  A63F13/816 ,  A63F2300/301 ,  A63F2300/308 ,  A63F2300/8082 ,  G02B27/0101 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06T19/006 ,  G09G2320/068 ,  G09G2320/0693 ,  G09G2380/00

摘要： The technology described herein includes a see-through, near-eye, mixed reality display device for providing customized experiences for a user. The personal A/V apparatus serves as an exercise program that is always with the user, provides motivation for the user, visually tells the user how to exercise, and lets the user exercise with other people who are not present.

摘要翻译： 本文描述的技术包括用于为用户提供定制体验的透视，近眼，混合现实显示设备。 个人A / V设备作为一个总是与用户一起锻炼的锻炼计划，为用户提供动机，视觉上告诉用户锻炼身体，并让用户锻炼身体不在场的其他人。

公开(公告)号：US20130307855A1

公开(公告)日：2013-11-21

申请号：US13473241

申请日：2012-05-16

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G06T13/00

CPC分类号： G02B27/225 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0141 ,  G03H1/0005 ,  G03H1/2294 ,  G03H2001/2284 ,  G03H2227/02 ,  G03H2270/55 ,  G06F3/012 ,  G06F3/013 ,  G06F3/04815 ,  G06K9/00335 ,  H04N13/221 ,  H04N13/239 ,  H04N13/344 ,  H04N13/383 ,  H04N2213/001

摘要： A system for generating and displaying holographic visual aids associated with a story to an end user of a head-mounted display device while the end user is reading the story or perceiving the story being read aloud is described. The story may be embodied within a reading object (e.g., a book) in which words of the story may be displayed to the end user. The holographic visual aids may include a predefined character animation that is synchronized to a portion of the story corresponding with the character being animated. A reading pace of a portion of the story may be used to control the playback speed of the predefined character animation in real-time such that the character is perceived to be lip-syncing the story being read aloud. In some cases, an existing book without predetermined AR tags may be augmented with holographic visual aids.

摘要翻译： 描述了一种用于在最终用户正在阅读故事或感知故事被朗读的情况下向头戴式显示装置的终端用户生成和显示与故事相关联的全息视觉辅助装置的系统。 该故事可以体现在阅读对象（例如书籍）中，其中故事的话可以被显示给终端用户。 全息视觉辅助工具可以包括预定义的角色动画，其与与动画的角色对应的故事的一部分同步。 故事的一部分的阅读速度可以用于实时控制预定义的角色动画的播放速度，使得角色被感知为大声朗读故事的唇部同步。 在某些情况下，可以利用全息视觉辅助来增加没有预定AR标签的现有书。

公开(公告)号：US20130095924A1

公开(公告)日：2013-04-18

申请号：US13631511

申请日：2012-09-28

申请人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  John Clavin

发明人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  John Clavin

IPC分类号： A63F13/00

CPC分类号： A63F13/213 ,  A63F2300/1093 ,  A63F2300/204 ,  A63F2300/301 ,  A63F2300/6676 ,  A63F2300/69 ,  G02B27/017 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/012 ,  G06F3/013 ,  G06T19/006 ,  G09B19/0038 ,  H04N13/344 ,  H04N13/366 ,  H04N13/383

摘要： Technology is described for providing a personalized sport performance experience with three dimensional (3D) virtual data displayed by a near-eye, augmented reality display of a personal audiovisual (A/V) apparatus. A physical movement recommendation is determined for the user performing a sport based on skills data for the user for the sport, physical characteristics of the user, and 3D space positions for at least one or more sport objects. 3D virtual data depicting one or more visual guides for assisting the user in performing the physical movement recommendation may be displayed from a user perspective associated with a display field of view of the near-eye AR display. An avatar may also be displayed by the near-eye AR display performing a sport. The avatar may perform the sport interactively with the user or be displayed performing a prior performance of an individual represented by the avatar.

摘要翻译： 描述了技术，用于通过个人视听（A / V）设备的近眼，增强现实显示显示的三维（3D）虚拟数据来提供个性化的运动表现体验。 基于运动用户的技能数据，用户的身体特征以及用于至少一个或多个运动对象的3D空间位置，为执行运动的用户确定身体运动推荐。 可以从与近眼AR显示器的显示视野相关联的用户视角来显示描绘用于辅助用户执行物理移动推荐的一个或多个视觉指南的3D虚拟数据。 化身也可以由执行运动的近眼AR显示器显示。 化身可以与用户交互地执行运动，或者显示执行由化身表示的个人的先前的表现。

公开(公告)号：US20130083062A1

公开(公告)日：2013-04-04

申请号：US13431135

申请日：2012-03-27

申请人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez ,  Ryan L. Hastings ,  Darren Bennett ,  Daniel J. McCulloch ,  John Clavin ,  Jason Scott

发明人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez ,  Ryan L. Hastings ,  Darren Bennett ,  Daniel J. McCulloch ,  John Clavin ,  Jason Scott

IPC分类号： G09G5/377

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G06F3/013 ,  G09G3/003 ,  G09G2354/00 ,  G09G2380/00 ,  H04N13/271 ,  H04N13/344

摘要： A system for generating an augmented reality environment in association with one or more attractions or exhibits is described. In some cases, a see-through head-mounted display device (HMD) may acquire one or more virtual objects from a supplemental information provider associated with a particular attraction. The one or more virtual objects may be based on whether an end user of the HMD is waiting in line for the particular attraction or is on (or in) the particular attraction. The supplemental information provider may vary the one or more virtual objects based on the end user's previous experiences with the particular attraction. The HMD may adapt the one or more virtual objects based on physiological feedback from the end user (e.g., if a child is scared). The supplemental information provider may also provide and automatically update a task list associated with the particular attraction.

摘要翻译： 描述了与一个或多个景点或展览相关联地生成增强现实环境的系统。 在某些情况下，透视式头戴显示设备（HMD）可以从与特定景点相关联的补充信息提供者获取一个或多个虚拟对象。 一个或多个虚拟对象可以基于HMD的最终用户是否等待特定的吸引力，或者是在特定的吸引力上（或者在）特定的吸引力。 补充信息提供者可以基于最终用户之前具有特定吸引力的体验改变一个或多个虚拟对象。 HMD可以基于来自最终用户的生理反馈（例如，如果孩子被吓到）来适配一个或多个虚拟对象。 补充信息提供者还可以提供并自动更新与该特定景点相关联的任务列表。

公开(公告)号：US20120162065A1

公开(公告)日：2012-06-28

申请号：US13410681

申请日：2012-03-02

申请人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Mark Finocchio ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

发明人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Mark Finocchio ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

IPC分类号： G06F3/01

CPC分类号： G06K9/00342 ,  G06K9/00369

摘要： A system and method are disclosed for recognizing and tracking a user's skeletal joints with a NUI system and further, for recognizing and tracking only some skeletal joints, such as for example a user's upper body. The system may include a limb identification engine which may use various methods to evaluate, identify and track positions of body parts of one or more users in a scene. In examples, further processing efficiency may be achieved by segmenting the field of view in smaller zones, and focusing on one zone at a time. Moreover, each zone may have its own set of predefined gestures which are recognized.

摘要翻译： 公开了一种用于识别和跟踪用户与NUI系统的骨骼关节的系统和方法，并且还用于仅识别和跟踪某些骨骼关节，例如用户的上身。 系统可以包括肢体识别引擎，其可以使用各种方法来评估，识别和跟踪场景中的一个或多个用户的身体部位的位置。 在示例中，可以通过在较小区域中分割视野并且一次聚焦于一个区域来实现进一步的处理效率。 此外，每个区域可以具有自己识别的一组预定义的手势。

公开(公告)号：US20110317871A1

公开(公告)日：2011-12-29

申请号：US12825657

申请日：2010-06-29

申请人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

发明人： Philip Tossell ,  Andrew Wilson ,  Alex Aben-Athar Kipman ,  Johnny Chung Lee ,  Alex Balan ,  Jamie Shotton ,  Richard Moore ,  Oliver Williams ,  Ryan Geiss ,  Kathryn Stone Perez ,  Aaron Kornblum ,  John Clavin

IPC分类号： G06K9/00

CPC分类号： G06K9/00342 ,  G06K9/00369

摘要： A system and method are disclosed for recognizing and tracking a user's skeletal joints with a NUI system and further, for recognizing and tracking only some skeletal joints, such as for example a user's upper body. The system may include a limb identification engine which may use various methods to evaluate, identify and track positions of body parts of one or more users in a scene. In examples, further processing efficiency may be achieved by segmenting the field of view in smaller zones, and focusing on one zone at a time. Moreover, each zone may have its own set of predefined gestures which are recognized.

摘要翻译： 公开了一种用于识别和跟踪用户与NUI系统的骨骼关节的系统和方法，并且还用于仅识别和跟踪某些骨骼关节，例如用户的上身。 系统可以包括肢体识别引擎，其可以使用各种方法来评估，识别和跟踪场景中的一个或多个用户的身体部位的位置。 在示例中，可以通过在较小区域中分割视野并且一次聚焦于一个区域来实现进一步的处理效率。 此外，每个区域可以具有自己识别的一组预定义的手势。