公开(公告)号：US09128520B2

公开(公告)日：2015-09-08

申请号：US13436511

申请日：2012-03-30

申请人： Kevin A Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J Sugden ,  Benjamin I Vaught ,  Jeffrey B Cole ,  Alex Aben-Athar Kipman ,  Ian D McIntyre ,  Daniel McCulloch

发明人： Kevin A Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J Sugden ,  Benjamin I Vaught ,  Jeffrey B Cole ,  Alex Aben-Athar Kipman ,  Ian D McIntyre ,  Daniel McCulloch

IPC分类号： G06T19/00 ,  G06F3/01 ,  G09G3/00 ,  G09G5/36 ,  G02B27/01

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0187 ,  G06F3/013 ,  G06T19/006 ,  G09G3/003 ,  G09G5/363 ,  G09G2340/14 ,  G09G2340/145 ,  G09G2360/02 ,  G09G2370/022 ,  G09G2370/16 ,  G09G2380/00 ,  G09G2380/10

摘要： A collaborative on-demand system allows a user of a head-mounted display device (HMDD) to obtain assistance with an activity from a qualified service provider. In a session, the user and service provider exchange camera-captured images and augmented reality images. A gaze-detection capability of the HMDD allows the user to mark areas of interest in a scene. The service provider can similarly mark areas of the scene, as well as provide camera-captured images of the service provider's hand or arm pointing to or touching an object of the scene. The service provider can also select an animation or text to be displayed on the HMDD. A server can match user requests with qualified service providers which meet parameters regarding fee, location, rating and other preferences. Or, service providers can review open requests and self-select appropriate requests, initiating contact with a user.

摘要翻译： 协作式按需系统允许头戴式显示设备（HMDD）的用户获得来自合格服务提供商的活动的帮助。 在会话中，用户和服务提供商交换摄像机拍摄的图像和增强的现实图像。 HMDD的注视检测功能允许用户标记场景中的感兴趣区域。 服务提供商可以类似地标记场景的区域，以及提供指向或触摸场景的对象的服务提供者的手或手臂的照相机拍摄的图像。 服务提供商还可以选择要显示在HMDD上的动画或文本。 服务器可以将符合用户要求的合格服务提供商与符合费用，位置，评级和其他偏好的参数相匹配。 或者，服务提供商可以查看开放请求并自行选择适当的请求，启动与用户的联系。

公开(公告)号：US09122321B2

公开(公告)日：2015-09-01

申请号：US13464941

申请日：2012-05-04

申请人： Kathryn Stone Perez ,  John Clavin ,  Kevin A. Geisner ,  Stephen G. Latta ,  Brian J. Mount ,  Arthur C. Tomlin ,  Adam G. Poulos

发明人： Kathryn Stone Perez ,  John Clavin ,  Kevin A. Geisner ,  Stephen G. Latta ,  Brian J. Mount ,  Arthur C. Tomlin ,  Adam G. Poulos

IPC分类号： G06F3/033 ,  G06F3/01 ,  G06F21/00 ,  G06T19/00 ,  G02B27/01

CPC分类号： G06F3/033 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/013 ,  G06F21/00 ,  G06F21/32 ,  G06F21/6218 ,  G06F2221/2141 ,  G06T19/006 ,  G06T2219/024

摘要： A see-through, near-eye, mixed reality display device and system for collaboration amongst various users of other such devices and personal audio/visual devices of more limited capabilities. One or more wearers of a see through head mounted display apparatus define a collaboration environment. For the collaboration environment, a selection of collaboration data and the scope of the environment are determined. Virtual representations of the collaboration data in the field of view of the wearer, and other device users are rendered. Persons in the wearer's field of view to be included in collaboration environment and who are entitled to share information in the collaboration environment are defined by the wearer. If allowed, input from other users in the collaboration environment on the virtual object may be received and allowed to manipulate a change in the virtual object.

摘要翻译： 透明，近眼，混合现实显示设备和系统，用于在其他这样的设备的各种用户和具有更有限能力的个人音频/视频设备之间进行协作。 一个或多个穿戴式头戴式显示装置的佩戴者定义了协作环境。 对于协作环境，确定协作数据的选择和环境的范围。 呈现佩戴者视野中的协作数据和其他设备用户的虚拟表示。 穿戴者的视野中包含在合作环境中的人员和有权在协作环境中共享信息的人员由佩戴者定义。 如果允许，可以接收并允许在虚拟对象上的协作环境中的其他用户的输入来操纵虚拟对象的改变。

公开(公告)号：US09122053B2

公开(公告)日：2015-09-01

申请号：US13443368

申请日：2012-04-10

申请人： Kevin A. Geisner ,  Brian J. Mount ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kyungsuk David Lee ,  Ben J. Sugden ,  Jeffrey N. Margolis ,  Kathryn Stone Perez ,  Sheridan Martin Small ,  Mark J. Finocchio ,  Robert L. Crocco, Jr.

发明人： Kevin A. Geisner ,  Brian J. Mount ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kyungsuk David Lee ,  Ben J. Sugden ,  Jeffrey N. Margolis ,  Kathryn Stone Perez ,  Sheridan Martin Small ,  Mark J. Finocchio ,  Robert L. Crocco, Jr.

IPC分类号： G06T17/00 ,  G02B27/01 ,  G06F3/01 ,  G06T19/00 ,  G06K9/00

CPC分类号： G02B27/017 ,  G02B2027/0127 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G06F3/011 ,  G06F3/013 ,  G06F3/165 ,  G06F3/167 ,  G06K9/00214 ,  G06K9/00335 ,  G06K9/00671 ,  G06K9/34 ,  G06T19/006 ,  H04S7/304 ,  H04S7/306 ,  H04S2400/11 ,  H04S2400/15 ,  H04S2420/03

摘要： Technology is described for providing realistic occlusion between a virtual object displayed by a head mounted, augmented reality display system and a real object visible to the user's eyes through the display. A spatial occlusion in a user field of view of the display is typically a three dimensional occlusion determined based on a three dimensional space mapping of real and virtual objects. An occlusion interface between a real object and a virtual object can be modeled at a level of detail determined based on criteria such as distance within the field of view, display size or position with respect to a point of gaze. Technology is also described for providing three dimensional audio occlusion based on an occlusion between a real object and a virtual object in the user environment.

摘要翻译： 描述了技术，用于在由头戴式显示器，增强现实显示系统显示的虚拟对象和通过显示器对用户的眼睛可见的真实物体之间提供逼真的遮挡。 显示器的用户视野中的空间遮挡通常是基于实际和虚拟物体的三维空间映射确定的三维遮挡。 可以以基于诸如视场内的距离，相对于凝视点的显示大小或位置的标准确定的细节级别来建模真实对象和虚拟对象之间的遮挡界面。 还描述了用于基于用户环境中的真实对象和虚拟对象之间的遮挡来提供三维音频遮挡的技术。

公开(公告)号：US09038127B2

公开(公告)日：2015-05-19

申请号：US13212673

申请日：2011-08-18

申请人： Ryan L. Hastings ,  Stephen G. Latta ,  Benjamin I. Vaught ,  Darren Bennett

发明人： Ryan L. Hastings ,  Stephen G. Latta ,  Benjamin I. Vaught ,  Darren Bennett

IPC分类号： G06F21/00 ,  G06F21/10 ,  H04L29/06 ,  G06F3/01

CPC分类号： G06Q50/184 ,  G06F3/011 ,  G06F21/10 ,  G06T2219/024 ,  H04L67/38

摘要： Technology is provided for transferring a right to a digital content item based on one or more physical actions detected in data captured by a see-through, augmented reality display device system. A digital content item may be represented by a three-dimensional (3D) virtual object displayed by the device system. A user can hold the virtual object in some examples, and transfer a right to the content item the object represents by handing the object to another user within a defined distance, who indicates acceptance of the right based upon one or more physical actions including taking hold of the transferred object. Other examples of physical actions performed by a body part of a user may also indicate offer and acceptance in the right transfer. Content may be transferred from display device to display device while rights data is communicated via a network with a service application executing remotely.

摘要翻译： 技术被提供用于基于在透视增强现实显示设备系统捕获的数据中检测到的一个或多个物理动作来传送数字内容项目的权利。 数字内容项目可以由设备系统显示的三维（3D）虚拟对象来表示。 用户可以在一些示例中保存虚拟对象，并且通过在定义的距离内将对象传递给另一用户来传送对象所表示的内容的权利，所述对象指示基于一个或多个身体动作（包括保持）接受该权利 的转移对象。 用户的身体部位执行的身体动作的其他示例也可以指示在正确传送中的提议和接受。 内容可以从显示设备传送到显示设备，而通过远程执行服务应用的网络传送权限数据。

公开(公告)号：US20140306891A1

公开(公告)日：2014-10-16

申请号：US13862210

申请日：2013-04-12

申请人： Stephen G. Latta ,  Adam G. Poulos ,  Cameron G. Brown ,  Daniel J. McCulloch ,  Matthew Kaplan ,  Arnulfo Zepeda Navratil ,  Jon Paulovich ,  Kudo Tsunoda

发明人： Stephen G. Latta ,  Adam G. Poulos ,  Cameron G. Brown ,  Daniel J. McCulloch ,  Matthew Kaplan ,  Arnulfo Zepeda Navratil ,  Jon Paulovich ,  Kudo Tsunoda

IPC分类号： G06F3/01

CPC分类号： G06F3/017 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/016

摘要： Methods for providing real-time feedback to an end user of a mobile device as they are interacting with or manipulating one or more virtual objects within an augmented reality environment are described. The real-time feedback may comprise visual feedback, audio feedback, and/or haptic feedback. In some embodiments, a mobile device, such as a head-mounted display device (HMD), may determine an object classification associated with a virtual object within an augmented reality environment, detect an object manipulation gesture performed by an end user of the mobile device, detect an interaction with the virtual object based on the object manipulation gesture, determine a magnitude of a virtual force associated with the interaction, and provide real-time feedback to the end user of the mobile device based on the interaction, the magnitude of the virtual force applied to the virtual object, and the object classification associated with the virtual object.

摘要翻译： 描述了在移动设备与增强现实环境中交互或操纵一个或多个虚拟对象时向终端用户提供实时反馈的方法。 实时反馈可以包括视觉反馈，音频反馈和/或触觉反馈。 在一些实施例中，诸如头戴式显示设备（HMD）的移动设备可以确定与增强现实环境中的虚拟对象相关联的对象分类，检测移动设备的最终用户执行的对象操纵手势 基于对象操纵手势来检测与虚拟对象的交互，确定与交互相关联的虚拟力的大小，并且基于相互作用向移动设备的最终用户提供实时反馈，其大小 应用于虚拟对象的虚拟力以及与虚拟对象相关联的对象分类。

公开(公告)号：US08847988B2

公开(公告)日：2014-09-30

申请号：US13436499

申请日：2012-03-30

申请人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

发明人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00 ,  G06T19/00 ,  A63F13/98 ,  G09G3/00 ,  G02B27/01

CPC分类号： G09G3/003 ,  A63B71/00 ,  A63F13/02 ,  A63F13/216 ,  A63F13/816 ,  A63F2300/301 ,  A63F2300/308 ,  A63F2300/8082 ,  G02B27/0101 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06T19/006 ,  G09G2320/068 ,  G09G2320/0693 ,  G09G2380/00

摘要： The technology described herein includes a see-through, near-eye, mixed reality display device for providing customized experiences for a user. The personal A/V apparatus serves as an exercise program that is always with the user, provides motivation for the user, visually tells the user how to exercise, and lets the user exercise with other people who are not present.

摘要翻译： 本文描述的技术包括用于为用户提供定制体验的透视，近眼，混合现实显示设备。 个人A / V设备作为一个总是与用户一起锻炼的锻炼计划，为用户提供动机，视觉上告诉用户锻炼身体，并让用户锻炼身体不在场的其他人。

公开(公告)号：US08762894B2

公开(公告)日：2014-06-24

申请号：US13371083

申请日：2012-02-10

申请人： Kathryn Stone-Perez ,  Jeffrey Margolis ,  Mark J. Finocchio ,  Brian E. Keane ,  Rudy Jacobus Poot ,  Stephen G. Latta

发明人： Kathryn Stone-Perez ,  Jeffrey Margolis ,  Mark J. Finocchio ,  Brian E. Keane ,  Rudy Jacobus Poot ,  Stephen G. Latta

IPC分类号： G06F3/033 ,  A63F13/10 ,  G06F3/0488 ,  G06F3/01 ,  A63F13/12 ,  G07F17/32

CPC分类号： A63F13/42 ,  A63F13/213 ,  A63F13/22 ,  A63F13/28 ,  A63F13/428 ,  A63F13/79 ,  A63F13/843 ,  G06F3/011 ,  G06F3/017 ,  G06F3/0304 ,  G06F3/04883 ,  G07F17/3206 ,  G07F17/3209

摘要： Techniques for managing virtual ports are disclosed herein. Each such virtual port may have different associated features such as, for example, privileges, rights or options. When one or more users are in a capture scene of a gesture based system, the system may associate virtual ports with the users and maintain the virtual ports. Also provided are techniques for disassociating virtual ports with users or swapping virtual ports between two or more users.

摘要翻译： 本文公开了用于管理虚拟端口的技术。 每个这样的虚拟端口可以具有不同的相关联的特征，例如特权，权限或选项。 当一个或多个用户在基于手势的系统的捕获场景中时，系统可以将虚拟端口与用户相关联并维护虚拟端口。 还提供了用于将虚拟端口与用户分​​离或在两个或多个用户之间交换虚拟端口的技术。

公开(公告)号：US08752963B2

公开(公告)日：2014-06-17

申请号：US13289980

申请日：2011-11-04

申请人： Daniel J. McCulloch ,  Ryan L. Hastings ,  Kevin A. Geisner ,  Robert L. Crocco ,  Alexandru O. Balan ,  Derek L. Knee ,  Michael J. Scavezze ,  Stephen G. Latta ,  Brian J. Mount

发明人： Daniel J. McCulloch ,  Ryan L. Hastings ,  Kevin A. Geisner ,  Robert L. Crocco ,  Alexandru O. Balan ,  Derek L. Knee ,  Michael J. Scavezze ,  Stephen G. Latta ,  Brian J. Mount

IPC分类号： A61B3/14 ,  A61B3/113 ,  A61B3/11 ,  G02C11/00 ,  G02C7/10

CPC分类号： A61B3/113 ,  A61B3/112 ,  G02B27/017 ,  G02B2027/0118 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0187 ,  G02C7/104 ,  G02C11/10 ,  H04N13/344 ,  H04N13/383

摘要： The technology provides various embodiments for controlling brightness of a see-through, near-eye mixed display device based on light intensity of what the user is gazing at. The opacity of the display can be altered, such that external light is reduced if the wearer is looking at a bright object. The wearer's pupil size may be determined and used to adjust the brightness used to display images, as well as the opacity of the display. A suitable balance between opacity and brightness used to display images may be determined that allows real and virtual objects to be seen clearly, while not causing damage or discomfort to the wearer's eyes.

摘要翻译： 该技术提供了用于基于用户正在注视的光强度来控制透明近眼混合显示设备的亮度的各种实施例。 可以改变显示器的不透明度，使得如果佩戴者正在看着明亮的物体，则外部光线会减少。 可以确定佩戴者的瞳孔大小并用于调整用于显示图像的亮度以及显示器的不透明度。 可以确定用于显示图像的不透明度和亮度之间的适当平衡，其允许清楚地看到真实和虚拟物体，同时不会对佩戴者的眼睛造成伤害或不适。

公开(公告)号：US20130328927A1

公开(公告)日：2013-12-12

申请号：US13689378

申请日：2012-11-29

申请人： Brian J. Mount ,  Jason Scott ,  Ryan L. Hastings ,  Darren Bennett ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kevin A. Geisner ,  Jonathan T. Steed ,  Michael J. Scavezze

发明人： Brian J. Mount ,  Jason Scott ,  Ryan L. Hastings ,  Darren Bennett ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kevin A. Geisner ,  Jonathan T. Steed ,  Michael J. Scavezze

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  A63F13/10 ,  A63F13/213 ,  A63F13/25 ,  A63F13/32 ,  A63F13/335 ,  A63F13/53 ,  A63F13/65 ,  A63F2300/30 ,  A63F2300/407 ,  A63F2300/6676 ,  A63F2300/69 ,  A63F2300/8082 ,  G06F3/011 ,  G06F3/017 ,  G06F3/0304 ,  G06F3/167 ,  G06T3/40 ,  G06T7/60 ,  G06T19/20 ,  G06T2200/04 ,  G06T2219/2016

摘要： A system for generating a virtual gaming environment based on features identified within a real-world environment, and adapting the virtual gaming environment over time as the features identified within the real-world environment change is described. Utilizing the technology described, a person wearing a head-mounted display device (HMD) may walk around a real-world environment and play a virtual game that is adapted to that real-world environment. For example, the HMD may identify environmental features within a real-world environment such as five grassy areas and two cars, and then spawn virtual monsters based on the location and type of the environmental features identified. The location and type of the environmental features identified may vary depending on the particular real-world environment in which the HMD exists and therefore each virtual game may look different depending on the particular real-world environment.

摘要翻译： 描述了基于在真实世界环境中识别的特征来生成虚拟游戏环境的系统，并且描述了在真实世界环境变化中识别的特征随时间适应虚拟游戏环境。 利用所描述的技术，佩戴头戴式显示装置（HMD）的人可以围绕现实环境走动，并且玩一种适应该现实环境的虚拟游戏。 例如，HMD可以识别真实环境中的环境特征，例如五个草地和两辆车，然后根据所识别的环境特征的位置和类型产生虚拟怪物。 识别的环境特征的位置和类型可以根据HMD存在的特定现实世界环境而变化，并且因此每个虚拟游戏可能根据具体的现实世界环境而看起来不同。

公开(公告)号：US20130187943A1

公开(公告)日：2013-07-25

申请号：US13356545

申请日：2012-01-23

申请人： David D. Bohn ,  Stephen G. Latta ,  Jeffrey N. Margolis

发明人： David D. Bohn ,  Stephen G. Latta ,  Jeffrey N. Margolis

IPC分类号： G09G5/00

CPC分类号： G02B27/0093 ,  G02B27/0172 ,  G02B27/64 ,  G02B2027/0132 ,  H04N13/327 ,  H04N13/344

摘要： In embodiments of wearable display device calibration, a first display lens system forms an image of an environment viewed through the first display lens system. A second display lens system also forms the image of the environment viewed through the second display lens system. The first display lens system emits a first reference beam and the second display lens system emits a second reference beam. The first display lens system then captures a reflection image of the first and second reference beams. The second display lens system also captures a reflection image of the first and second reference beams. An imaging application is implemented to compare the reflection images to determine a misalignment between the first and second display lens systems, and then apply an alignment adjustment to align the image of the environment formed by each of the first and second display lens systems.

摘要翻译： 在可穿戴显示装置校准的实施例中，第一显示透镜系统形成通过第一显示镜头系统观看的环境的图像。 第二显示透镜系统还形成通过第二显示透镜系统观看的环境的图像。 第一显示透镜系统发射第一参考光束，第二显示透镜系统发射第二参考光束。 第一显示透镜系统然后捕获第一和第二参考光束的反射图像。 第二显示透镜系统还捕获第一和第二参考光束的反射图像。 实现成像应用以比较反射图像以确定第一和第二显示镜头系统之间的未对准，然后施加对准调整以对准由第一和第二显示镜头系统中的每一个形成的环境的图像。