公开(公告)号：US20160210789A1

公开(公告)日：2016-07-21

申请号：US15083229

申请日：2016-03-28

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G06T19/00 ,  G02B27/01 ,  G06F3/01

CPC分类号： G06T19/006 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0174 ,  G06F3/013 ,  G06F3/017 ,  G06F3/1431 ,  G09G3/003 ,  G09G2370/022 ,  G09G2380/14 ,  H04N2213/008

摘要： A system for allowing a virtual object to interact with other virtual objects across different spaces within an augmented reality (AR) environment and to transition between the different spaces is described. An AR environment may include a plurality of spaces, each comprising a bounded area or volume within the AR environment. In one example, an AR environment may be associated with a three-dimensional world space and a two-dimensional object space corresponding with a page of a book within the AR environment. A virtual object within the AR environment may be assigned to the object space and transition from the two-dimensional object space to the three-dimensional world space upon the detection of a space transition event. In some cases, a dual representation of the virtual object may be used to detect interactions between the virtual object and other virtual objects in both the world space and the object space.

摘要翻译： 描述了允许虚拟对象在扩充现实（AR）环境内的不同空间之间与其他虚拟对象交互并在不同空间之间转换的系统。 AR环境可以包括多个空间，每个空间包括AR环境内的有界区域或卷。 在一个示例中，AR环境可以与三维世界空间和对应于AR环境中的书页的二维对象空间相关联。 AR环境中的虚拟对象可以被分配给对象空间，并且在检测到空间转换事件时从二维对象空间转换到三维世界空间。 在某些情况下，可以使用虚拟对象的双重表示来检测虚拟对象与世界空间和对象空间中的其他虚拟对象之间的交互。

公开(公告)号：US20140002496A1

公开(公告)日：2014-01-02

申请号：US13538848

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00

CPC分类号： G09G5/00 ,  G02B27/017 ,  G02B2027/0134 ,  G02B2027/0138 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/14 ,  G06F3/147 ,  G06T19/006 ,  G09G3/003 ,  G09G2370/022 ,  G09G2380/14

摘要： A system for identifying an AR tag and determining a location for a virtual object within an augmented reality environment corresponding with the AR tag is described. In some environments, the location of a virtual object corresponding with a particular AR tag may be determined by identifying a predefined object, determining an orientation and a scale of the predefined object relative to a head-mounted display device (HMD) based on a model of the predefined object, and inferring the location of the virtual object based on the orientation and the scale of the predefined object. In some cases, an identification of the particular AR tag corresponding with the virtual object may be acquired by aggregating and analyzing individual identity determinations from a plurality of HMDs within an augmented reality environment.

摘要翻译： 描述用于识别AR标签并确定与AR标签相对应的增强现实环境中的虚拟对象的位置的系统。 在一些环境中，可以通过识别预定义对象来确定与特定AR标签对应的虚拟对象的位置，基于模型确定预定对象相对于头戴式显示设备（HMD）的方向和尺度 ，并且基于预定义对象的取向和比例来推断虚拟对象的位置。 在一些情况下，可以通过在增强现实环境内聚合和分析来自多个HMD的个体身份确定来获取与虚拟对象相对应的特定AR标签的识别。

公开(公告)号：US20140006026A1

公开(公告)日：2014-01-02

申请号：US13538731

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： H03G3/00 ,  G10L17/00

CPC分类号： G10L17/00 ,  H03G3/10

摘要： A system for generating one or more enhanced audio signals such that one or more sound levels corresponding with sounds received from one or more sources of sound within an environment may be dynamically adjusted based on contextual information is described. The one or more enhanced audio signals may be generated by a head-mounted display device (HMD) worn by an end user within the environment and outputted to earphones associated with the HMD such that the end user may listen to the one or more enhanced audio signals in real-time. In some cases, each of the one or more sources of sound may correspond with a priority level. The priority level may be dynamically assigned depending on whether the end user of the HMD is focusing on a particular source of sound or has specified a predetermined level of importance corresponding with the particular source of sound.

摘要翻译： 描述了一种用于生成一个或多个增强音频信号的系统，以便可以基于上下文信息来动态地调整与环境中的一个或多个声源所接收的声音相对应的一个或多个声级。 一个或多个增强音频信号可以由环境中终端用户佩戴的头戴式显示设备（HMD）产生，并且输出到与HMD相关联的耳机，使得终端用户可以收听一个或多个增强音频 信号实时。 在一些情况下，一个或多个声源中的每一个可以对应于优先级。 可以根据HMD的最终用户是聚焦于特定的声源还是指定了与特定的声源相对应的预定重要程度，来动态地分配优先级。

公开(公告)号：US20130321462A1

公开(公告)日：2013-12-05

申请号：US13487079

申请日：2012-06-01

申请人： Tom G. Salter ,  Alex Aben-Athar Kipman ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Mathew J. Lamb

发明人： Tom G. Salter ,  Alex Aben-Athar Kipman ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Mathew J. Lamb

IPC分类号： G09G5/00 ,  G06F3/041

CPC分类号： G06F1/163 ,  G06F3/011 ,  G06F3/017 ,  G06F3/147

摘要： Techniques are provided for allowing a user to select a region within virtual imagery, such as a hologram, being presented in an HMD. The user could select the region by using their hands to form a closed loop such that from the perspective of the user, the closed loop corresponds to the region the user wishes to select. The user could select the region by using a prop, such as a picture frame. In response to the selection, the selected region could be presented using a different rendering technique than other regions of the virtual imagery. Various rendering techniques such as zooming, filtering, etc. could be applied to the selected region. The identification of the region by the user could also serve as a selection of an element in that portion of the virtual image.

摘要翻译： 提供了技术来允许用户选择呈现在HMD中的虚拟图像（例如全息图）内的区域。 用户可以通过使用他们的手来选择该区域以形成闭环，使得从用户的角度来看，闭环对应于用户希望选择的区域。 用户可以通过使用支架（如相框）来选择该区域。 响应于选择，可以使用与虚拟图像的其他区域不同的渲染技术呈现所选择的区域。 各种渲染技术，例如缩放，滤波等可以应用于所选择的区域。 用户对区域的识别也可以用作该虚拟图像的该部分中的元素的选择。

公开(公告)号：US20130307855A1

公开(公告)日：2013-11-21

申请号：US13473241

申请日：2012-05-16

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G06T13/00

CPC分类号： G02B27/225 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0141 ,  G03H1/0005 ,  G03H1/2294 ,  G03H2001/2284 ,  G03H2227/02 ,  G03H2270/55 ,  G06F3/012 ,  G06F3/013 ,  G06F3/04815 ,  G06K9/00335 ,  H04N13/221 ,  H04N13/239 ,  H04N13/344 ,  H04N13/383 ,  H04N2213/001

摘要： A system for generating and displaying holographic visual aids associated with a story to an end user of a head-mounted display device while the end user is reading the story or perceiving the story being read aloud is described. The story may be embodied within a reading object (e.g., a book) in which words of the story may be displayed to the end user. The holographic visual aids may include a predefined character animation that is synchronized to a portion of the story corresponding with the character being animated. A reading pace of a portion of the story may be used to control the playback speed of the predefined character animation in real-time such that the character is perceived to be lip-syncing the story being read aloud. In some cases, an existing book without predetermined AR tags may be augmented with holographic visual aids.

摘要翻译： 描述了一种用于在最终用户正在阅读故事或感知故事被朗读的情况下向头戴式显示装置的终端用户生成和显示与故事相关联的全息视觉辅助装置的系统。 该故事可以体现在阅读对象（例如书籍）中，其中故事的话可以被显示给终端用户。 全息视觉辅助工具可以包括预定义的角色动画，其与与动画的角色对应的故事的一部分同步。 故事的一部分的阅读速度可以用于实时控制预定义的角色动画的播放速度，使得角色被感知为大声朗读故事的唇部同步。 在某些情况下，可以利用全息视觉辅助来增加没有预定AR标签的现有书。

公开(公告)号：US20140002495A1

公开(公告)日：2014-01-02

申请号：US13538829

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00

CPC分类号： G09G3/003 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G06F3/1431 ,  G09G2370/022 ,  H04N2201/3245 ,  H04N2201/3269

摘要： A system for identifying an AR tag and determining a location for a virtual object within an augmented reality environment corresponding with the AR tag is described. In some environments, including those with viewing obstructions, the identity of the AR tag and the location of a corresponding virtual object may be determined by aggregating individual identity and location determinations from a plurality of head-mounted display devices (HMDs). The virtual object may comprise a shared virtual object that is viewable from each of the plurality of HMDs as existing at a shared location within the augmented reality environment. The shared location may comprise a weighted average of individual location determinations from each of the plurality of HMDs. By aggregating and analyzing individual identity and location determinations, a particular HMD of the plurality of HMDs may display a virtual object without having to identify a corresponding AR tag directly.

摘要翻译： 描述用于识别AR标签并确定与AR标签相对应的增强现实环境中的虚拟对象的位置的系统。 在一些环境中，包括具有观察障碍物的环境中，AR标签的身份和相应的虚拟对象的位置可以通过从多个头戴式显示设备（HMD）聚合个体身份和位置确定来确定。 虚拟对象可以包括可从多个HMD中的每一个查看的共享虚拟对象，其存在于增强现实环境中的共享位置处。 共享位置可以包括来自多个HMD中的每一个的各个位置确定的加权平均。 通过聚合和分析个体身份和位置确定，多个HMD中的特定HMD可以显示虚拟对象，而不必直接识别对应的AR标签。

公开(公告)号：US20140002492A1

公开(公告)日：2014-01-02

申请号：US13538691

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Tom G. Salter

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Tom G. Salter

IPC分类号： G09G5/00

CPC分类号： G06F3/013 ,  G02B27/017 ,  G02B2027/014 ,  G06F1/163 ,  G06F3/011 ,  G06F3/012 ,  G06F3/0304

摘要： Techniques are provided for propagating real world properties into mixed reality images in a see-through, near-eye mixed reality display device. A physical property from the real world may be propagated into a virtual image to be rendered in the display device. Thus, the physics depicted in the mixed reality images may be influenced by a physical property in the environment. Therefore, the user wearing the mixed reality display device is provided a better sense that it is mixed reality, as opposed to simply virtual reality. The mixed reality image may be linked to a real world physical object. This physical object can be movable such as a book, paper, cellular telephone, etc. Forces on the physical object may be propagated into the virtual image.

摘要翻译： 提供了一种技术，用于将真实世界的属性传播到透视，近眼混合现实显示设备中的混合现实图像中。 来自真实世界的物理属性可以被传播到在显示设备中呈现的虚拟图像中。 因此，混合现实图像中描绘的物理学可能受到环境中物理性质的影响。 因此，与简单的虚拟现实相反，佩戴混合现实显示装置的用户被提供更好的感觉，它是混合的现实。 混合的现实图像可能与真实世界的物理对象相关联。 该物理物体可以是可移动的，例如书籍，纸张，蜂窝电话等。物理对象上的力可以传播到虚拟图像中。

公开(公告)号：US20140002491A1

公开(公告)日：2014-01-02

申请号：US13538683

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Jeffrey Neil Margolis

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Jeffrey Neil Margolis

IPC分类号： G09G5/00

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/014 ,  G02B2027/0141 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F1/163 ,  G06F3/012 ,  G06F3/013 ,  G06F3/0304

摘要： Techniques are provided for rendering, in a see-through, near-eye mixed reality display, a virtual object within a virtual hole, window or cutout. The virtual hole, window or cutout may appear to be within some real world physical object such as a book, table, etc. The virtual object may appear to be just below the surface of the physical object. In a sense, the virtual world could be considered to be a virtual container that provides developers with additional locations for presenting virtual objects. For example, rather than rendering a virtual object, such as a lamp, in a mixed reality display such that appears to sit on top of a real world desk, the virtual object is rendered such that it appears to be located below the surface of the desk.

摘要翻译： 提供了技术，用于在透视，近眼混合现实显示，虚拟孔，窗口或切口内的虚拟对象中渲染。 虚拟孔，窗口或切口可能看起来像一些真实世界的物体，如书，桌等。虚拟对象可能看起来就在物理对象的表面之下。 在某种意义上，虚拟世界可以被认为是一个虚拟容器，为开发人员提供了用于呈现虚拟对象的更多位置。 例如，虚拟对象不是将虚拟对象（例如灯）呈现在混合现实显示器中，使得它似乎位于真实世界桌面之上，使得虚拟物体看起来位于 台。

公开(公告)号：US20140002442A1

公开(公告)日：2014-01-02

申请号：US13538706

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00 ,  G06T15/00

CPC分类号： G06T19/006 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0174 ,  G06F3/013 ,  G06F3/017 ,  G06F3/1431 ,  G09G3/003 ,  G09G2370/022 ,  G09G2380/14 ,  H04N2213/008

摘要： A system for allowing a virtual object to interact with other virtual objects across different spaces within an augmented reality (AR) environment and to transition between the different spaces is described. An AR environment may include a plurality of spaces, each comprising a bounded area or volume within the AR environment. In one example, an AR environment may be associated with a three-dimensional world space and a two-dimensional object space corresponding with a page of a book within the AR environment. A virtual object within the AR environment may be assigned to the object space and transition from the two-dimensional object space to the three-dimensional world space upon the detection of a space transition event. In some cases, a dual representation of the virtual object may be used to detect interactions between the virtual object and other virtual objects in both the world space and the object space.

摘要翻译： 描述了允许虚拟对象在扩充现实（AR）环境内的不同空间之间与其他虚拟对象交互并在不同空间之间转换的系统。 AR环境可以包括多个空间，每个空间包括AR环境内的有界区域或卷。 在一个示例中，AR环境可以与三维世界空间和对应于AR环境中的书页的二维对象空间相关联。 AR环境中的虚拟对象可以被分配给对象空间，并且在检测到空间转换事件时从二维对象空间转换到三维世界空间。 在某些情况下，可以使用虚拟对象的双重表示来检测虚拟对象与世界空间和对象空间中的其他虚拟对象之间的交互。

公开(公告)号：US20130321255A1

公开(公告)日：2013-12-05

申请号：US13488966

申请日：2012-06-05

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Sheridan Martin Small ,  Stephen G. Latta

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Sheridan Martin Small ,  Stephen G. Latta

IPC分类号： G06F3/01

CPC分类号： G09G3/003

摘要： Technology is disclosed herein to help a user navigate through large amounts of content while wearing a see-through, near-eye, mixed reality display device such as a head mounted display (HMD). The user can use a physical object such as a book to navigate through content being presented in the HMD. In one embodiment, a book has markers on the pages that allow the system to organize the content. The book could have real content, but it could be blank other than the markers. As the user flips through the book, the system recognizes the markers and presents content associated with the respective marker in the HMD.

摘要翻译： 本文公开了技术，以帮助用户穿戴大量的内容，同时佩戴透视，近眼，混合的现实显示设备，例如头戴式显示器（HMD）。 用户可以使用诸如书籍的物理对象来浏览在HMD中呈现的内容。 在一个实施例中，书在页面上具有允许系统组织内容的标记。 这本书可以有真实的内容，但除了标记之外它可能是空白的。 当用户翻转书本时，系统识别标记并呈现与HMD中各标记相关的内容。