公开(公告)号：US20130002813A1

公开(公告)日：2013-01-03

申请号：US13172633

申请日：2011-06-29

申请人： Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Michael J. Scavezze ,  Arthur C. Tomlin ,  Relja Markovic ,  Darren Bennett ,  Stephen G. Latta

发明人： Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Michael J. Scavezze ,  Arthur C. Tomlin ,  Relja Markovic ,  Darren Bennett ,  Stephen G. Latta

IPC分类号： H04N13/00 ,  H04N5/77

CPC分类号： H04N13/161 ,  H04N13/194 ,  H04N13/344 ,  H04N13/383 ,  H04N21/2187 ,  H04N21/274

摘要： Techniques are provided for viewing windows for video streams. A video stream from a video capture device is accessed. Data that describes movement or position of a person is accessed. A viewing window is placed in the video stream based on the data that describes movement or position of the person. The viewing window is provided to a display device in accordance with the placement of the viewing window in the video stream. Motion sensors can detect motion of the person carrying the video capture device in order to dampen the motion such that the video on the remote display does not suffer from motion artifacts. Sensors can also track the eye gaze of either the person carrying the mobile video capture device or the remote display device to enable control of the spatial region of the video stream shown at the display device.

摘要翻译： 提供技术来查看视频流的窗口。 来自视频采集设备的视频流被访问。 访问描述人的移动或位置的数据。 基于描述人的移动或位置的数据将观看窗口放置在视频流中。 根据观看窗口在视频流中的放置，将观看窗口提供给显示设备。 运动传感器可以检测携带视频捕获设备的人的运动，以便抑制运动，使得远程显示器上的视频不会受到运动伪像的影响。 传感器还可以跟踪携带移动视频捕获设备或远程显示设备的人的眼睛注视，以便能够控制显示设备上显示的视频流的空间区域。

公开(公告)号：US09583032B2

公开(公告)日：2017-02-28

申请号：US13488966

申请日：2012-06-05

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Sheridan Martin Small ,  Stephen G. Latta

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Sheridan Martin Small ,  Stephen G. Latta

IPC分类号： G06F3/01 ,  G09G3/00

CPC分类号： G09G3/003

摘要： Technology is disclosed herein to help a user navigate through large amounts of content while wearing a see-through, near-eye, mixed reality display device such as a head mounted display (HMD). The user can use a physical object such as a book to navigate through content being presented in the HMD. In one embodiment, a book has markers on the pages that allow the system to organize the content. The book could have real content, but it could be blank other than the markers. As the user flips through the book, the system recognizes the markers and presents content associated with the respective marker in the HMD.

摘要翻译： 本文公开了技术，以帮助用户穿戴大量的内容，同时佩戴透视，近眼，混合的现实显示设备，例如头戴式显示器（HMD）。 用户可以使用诸如书籍的物理对象来浏览在HMD中呈现的内容。 在一个实施例中，书在页面上具有允许系统组织内容的标记。 这本书可以有真实的内容，但除了标记之外它可能是空白的。 当用户翻转书本时，系统识别标记并呈现与HMD中各标记相关的内容。

公开(公告)号：US20160371886A1

公开(公告)日：2016-12-22

申请号：US14746789

申请日：2015-06-22

申请人： Joe Thompson ,  Dan Osborn ,  Tarek Hefny ,  Stephen G. Latta ,  Forest Woodcroft Gouin ,  James Nakashima ,  Megan Saunders ,  Anatolie Gavriliuc ,  Alberto E. Cerriteno ,  Shawn Crispin Wright

发明人： Joe Thompson ,  Dan Osborn ,  Tarek Hefny ,  Stephen G. Latta ,  Forest Woodcroft Gouin ,  James Nakashima ,  Megan Saunders ,  Anatolie Gavriliuc ,  Alberto E. Cerriteno ,  Shawn Crispin Wright

IPC分类号： G06T19/00 ,  G02B27/01 ,  G06T19/20 ,  G06F3/01 ,  G06T11/20

CPC分类号： G06T19/006 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0174 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/013 ,  G06F3/0304 ,  G06T11/203 ,  G06T19/20 ,  G06T2219/2012 ,  G06T2219/2021

摘要： A method for operating a computing device is described herein. The method includes determining a user's gaze direction based on a gaze input, determining an intersection between the user's gaze direction and an identified environmental surface in a 3-dimensional environment, and generating a drawing surface based on the intersection within a user interface on a display.

摘要翻译： 本文描述了一种用于操作计算设备的方法。 该方法包括基于注视输入来确定用户的注视方向，确定用户的注视方向和三维环境中的识别的环境表面之间的交点，以及基于显示器上的用户界面内的交点生成绘图面 。

公开(公告)号：US20150331240A1

公开(公告)日：2015-11-19

申请号：US14279146

申请日：2014-05-15

申请人： Adam G. Poulos ,  Cameron G. Brown ,  Stephen G. Latta ,  Brian J. Mount ,  Daniel J. McCulloch

发明人： Adam G. Poulos ,  Cameron G. Brown ,  Stephen G. Latta ,  Brian J. Mount ,  Daniel J. McCulloch

IPC分类号： G02B27/01

CPC分类号： G02B27/017 ,  G02B27/0179 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/013 ,  G06F16/9535 ,  G06T19/006

摘要： Assisted viewing of web-based resources by an end user of a head-mounted display device (HMD) is described. An HMD may display content from web-based resources using a see-through display while tracking eye and head movement of the end user viewing the content within an augmented reality environment. Active view regions within the see-through display are identified based on tracking information including eye gaze data and head direction data. The web-based resources are analyzed to identify content and display elements. The analysis is correlated with the active view regions to identify the underlying content that is a desired point of focus of a corresponding active view region, as well as to identify the display elements corresponding to that content. A web-based resource is modified based on the correlation. The content from the web-based resource is displayed based on the modifications to assist the end user in viewing the web-based resource.

摘要翻译： 描述了头戴式显示设备（HMD）的终端用户辅助查看基于web的资源。 HMD可以使用透视显示来显示来自基于网络资源的内容，同时跟踪在增强现实环境中观看内容的最终用户的眼睛和头部移动。 基于包括眼睛注视数据和头部方向数据的跟踪信息来识别直通显示器内的主动视区。 分析基于网络的资源，以识别内容和显示元素。 该分析与活动视图区域相关，以识别作为相应主动视区的期望焦点的底层内容，以及识别对应于该内容的显示元素。 基于相关性修改基于Web的资源。 基于网络资源的内容将基于修改进行显示，以帮助最终用户查看基于Web的资源。

公开(公告)号：US09128520B2

公开(公告)日：2015-09-08

申请号：US13436511

申请日：2012-03-30

申请人： Kevin A Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J Sugden ,  Benjamin I Vaught ,  Jeffrey B Cole ,  Alex Aben-Athar Kipman ,  Ian D McIntyre ,  Daniel McCulloch

发明人： Kevin A Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J Sugden ,  Benjamin I Vaught ,  Jeffrey B Cole ,  Alex Aben-Athar Kipman ,  Ian D McIntyre ,  Daniel McCulloch

IPC分类号： G06T19/00 ,  G06F3/01 ,  G09G3/00 ,  G09G5/36 ,  G02B27/01

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0187 ,  G06F3/013 ,  G06T19/006 ,  G09G3/003 ,  G09G5/363 ,  G09G2340/14 ,  G09G2340/145 ,  G09G2360/02 ,  G09G2370/022 ,  G09G2370/16 ,  G09G2380/00 ,  G09G2380/10

摘要： A collaborative on-demand system allows a user of a head-mounted display device (HMDD) to obtain assistance with an activity from a qualified service provider. In a session, the user and service provider exchange camera-captured images and augmented reality images. A gaze-detection capability of the HMDD allows the user to mark areas of interest in a scene. The service provider can similarly mark areas of the scene, as well as provide camera-captured images of the service provider's hand or arm pointing to or touching an object of the scene. The service provider can also select an animation or text to be displayed on the HMDD. A server can match user requests with qualified service providers which meet parameters regarding fee, location, rating and other preferences. Or, service providers can review open requests and self-select appropriate requests, initiating contact with a user.

摘要翻译： 协作式按需系统允许头戴式显示设备（HMDD）的用户获得来自合格服务提供商的活动的帮助。 在会话中，用户和服务提供商交换摄像机拍摄的图像和增强的现实图像。 HMDD的注视检测功能允许用户标记场景中的感兴趣区域。 服务提供商可以类似地标记场景的区域，以及提供指向或触摸场景的对象的服务提供者的手或手臂的照相机拍摄的图像。 服务提供商还可以选择要显示在HMDD上的动画或文本。 服务器可以将符合用户要求的合格服务提供商与符合费用，位置，评级和其他偏好的参数相匹配。 或者，服务提供商可以查看开放请求并自行选择适当的请求，启动与用户的联系。

公开(公告)号：US09122321B2

公开(公告)日：2015-09-01

申请号：US13464941

申请日：2012-05-04

申请人： Kathryn Stone Perez ,  John Clavin ,  Kevin A. Geisner ,  Stephen G. Latta ,  Brian J. Mount ,  Arthur C. Tomlin ,  Adam G. Poulos

发明人： Kathryn Stone Perez ,  John Clavin ,  Kevin A. Geisner ,  Stephen G. Latta ,  Brian J. Mount ,  Arthur C. Tomlin ,  Adam G. Poulos

IPC分类号： G06F3/033 ,  G06F3/01 ,  G06F21/00 ,  G06T19/00 ,  G02B27/01

CPC分类号： G06F3/033 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/013 ,  G06F21/00 ,  G06F21/32 ,  G06F21/6218 ,  G06F2221/2141 ,  G06T19/006 ,  G06T2219/024

摘要： A see-through, near-eye, mixed reality display device and system for collaboration amongst various users of other such devices and personal audio/visual devices of more limited capabilities. One or more wearers of a see through head mounted display apparatus define a collaboration environment. For the collaboration environment, a selection of collaboration data and the scope of the environment are determined. Virtual representations of the collaboration data in the field of view of the wearer, and other device users are rendered. Persons in the wearer's field of view to be included in collaboration environment and who are entitled to share information in the collaboration environment are defined by the wearer. If allowed, input from other users in the collaboration environment on the virtual object may be received and allowed to manipulate a change in the virtual object.

摘要翻译： 透明，近眼，混合现实显示设备和系统，用于在其他这样的设备的各种用户和具有更有限能力的个人音频/视频设备之间进行协作。 一个或多个穿戴式头戴式显示装置的佩戴者定义了协作环境。 对于协作环境，确定协作数据的选择和环境的范围。 呈现佩戴者视野中的协作数据和其他设备用户的虚拟表示。 穿戴者的视野中包含在合作环境中的人员和有权在协作环境中共享信息的人员由佩戴者定义。 如果允许，可以接收并允许在虚拟对象上的协作环境中的其他用户的输入来操纵虚拟对象的改变。

公开(公告)号：US09122053B2

公开(公告)日：2015-09-01

申请号：US13443368

申请日：2012-04-10

申请人： Kevin A. Geisner ,  Brian J. Mount ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kyungsuk David Lee ,  Ben J. Sugden ,  Jeffrey N. Margolis ,  Kathryn Stone Perez ,  Sheridan Martin Small ,  Mark J. Finocchio ,  Robert L. Crocco, Jr.

发明人： Kevin A. Geisner ,  Brian J. Mount ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kyungsuk David Lee ,  Ben J. Sugden ,  Jeffrey N. Margolis ,  Kathryn Stone Perez ,  Sheridan Martin Small ,  Mark J. Finocchio ,  Robert L. Crocco, Jr.

IPC分类号： G06T17/00 ,  G02B27/01 ,  G06F3/01 ,  G06T19/00 ,  G06K9/00

CPC分类号： G02B27/017 ,  G02B2027/0127 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G06F3/011 ,  G06F3/013 ,  G06F3/165 ,  G06F3/167 ,  G06K9/00214 ,  G06K9/00335 ,  G06K9/00671 ,  G06K9/34 ,  G06T19/006 ,  H04S7/304 ,  H04S7/306 ,  H04S2400/11 ,  H04S2400/15 ,  H04S2420/03

摘要： Technology is described for providing realistic occlusion between a virtual object displayed by a head mounted, augmented reality display system and a real object visible to the user's eyes through the display. A spatial occlusion in a user field of view of the display is typically a three dimensional occlusion determined based on a three dimensional space mapping of real and virtual objects. An occlusion interface between a real object and a virtual object can be modeled at a level of detail determined based on criteria such as distance within the field of view, display size or position with respect to a point of gaze. Technology is also described for providing three dimensional audio occlusion based on an occlusion between a real object and a virtual object in the user environment.

摘要翻译： 描述了技术，用于在由头戴式显示器，增强现实显示系统显示的虚拟对象和通过显示器对用户的眼睛可见的真实物体之间提供逼真的遮挡。 显示器的用户视野中的空间遮挡通常是基于实际和虚拟物体的三维空间映射确定的三维遮挡。 可以以基于诸如视场内的距离，相对于凝视点的显示大小或位置的标准确定的细节级别来建模真实对象和虚拟对象之间的遮挡界面。 还描述了用于基于用户环境中的真实对象和虚拟对象之间的遮挡来提供三维音频遮挡的技术。

公开(公告)号：US09038127B2

公开(公告)日：2015-05-19

申请号：US13212673

申请日：2011-08-18

申请人： Ryan L. Hastings ,  Stephen G. Latta ,  Benjamin I. Vaught ,  Darren Bennett

发明人： Ryan L. Hastings ,  Stephen G. Latta ,  Benjamin I. Vaught ,  Darren Bennett

IPC分类号： G06F21/00 ,  G06F21/10 ,  H04L29/06 ,  G06F3/01

CPC分类号： G06Q50/184 ,  G06F3/011 ,  G06F21/10 ,  G06T2219/024 ,  H04L67/38

摘要： Technology is provided for transferring a right to a digital content item based on one or more physical actions detected in data captured by a see-through, augmented reality display device system. A digital content item may be represented by a three-dimensional (3D) virtual object displayed by the device system. A user can hold the virtual object in some examples, and transfer a right to the content item the object represents by handing the object to another user within a defined distance, who indicates acceptance of the right based upon one or more physical actions including taking hold of the transferred object. Other examples of physical actions performed by a body part of a user may also indicate offer and acceptance in the right transfer. Content may be transferred from display device to display device while rights data is communicated via a network with a service application executing remotely.

摘要翻译： 技术被提供用于基于在透视增强现实显示设备系统捕获的数据中检测到的一个或多个物理动作来传送数字内容项目的权利。 数字内容项目可以由设备系统显示的三维（3D）虚拟对象来表示。 用户可以在一些示例中保存虚拟对象，并且通过在定义的距离内将对象传递给另一用户来传送对象所表示的内容的权利，所述对象指示基于一个或多个身体动作（包括保持）接受该权利 的转移对象。 用户的身体部位执行的身体动作的其他示例也可以指示在正确传送中的提议和接受。 内容可以从显示设备传送到显示设备，而通过远程执行服务应用的网络传送权限数据。

公开(公告)号：US20140306891A1

公开(公告)日：2014-10-16

申请号：US13862210

申请日：2013-04-12

申请人： Stephen G. Latta ,  Adam G. Poulos ,  Cameron G. Brown ,  Daniel J. McCulloch ,  Matthew Kaplan ,  Arnulfo Zepeda Navratil ,  Jon Paulovich ,  Kudo Tsunoda

发明人： Stephen G. Latta ,  Adam G. Poulos ,  Cameron G. Brown ,  Daniel J. McCulloch ,  Matthew Kaplan ,  Arnulfo Zepeda Navratil ,  Jon Paulovich ,  Kudo Tsunoda

IPC分类号： G06F3/01

CPC分类号： G06F3/017 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/016

摘要： Methods for providing real-time feedback to an end user of a mobile device as they are interacting with or manipulating one or more virtual objects within an augmented reality environment are described. The real-time feedback may comprise visual feedback, audio feedback, and/or haptic feedback. In some embodiments, a mobile device, such as a head-mounted display device (HMD), may determine an object classification associated with a virtual object within an augmented reality environment, detect an object manipulation gesture performed by an end user of the mobile device, detect an interaction with the virtual object based on the object manipulation gesture, determine a magnitude of a virtual force associated with the interaction, and provide real-time feedback to the end user of the mobile device based on the interaction, the magnitude of the virtual force applied to the virtual object, and the object classification associated with the virtual object.

摘要翻译： 描述了在移动设备与增强现实环境中交互或操纵一个或多个虚拟对象时向终端用户提供实时反馈的方法。 实时反馈可以包括视觉反馈，音频反馈和/或触觉反馈。 在一些实施例中，诸如头戴式显示设备（HMD）的移动设备可以确定与增强现实环境中的虚拟对象相关联的对象分类，检测移动设备的最终用户执行的对象操纵手势 基于对象操纵手势来检测与虚拟对象的交互，确定与交互相关联的虚拟力的大小，并且基于相互作用向移动设备的最终用户提供实时反馈，其大小 应用于虚拟对象的虚拟力以及与虚拟对象相关联的对象分类。

公开(公告)号：US08847988B2

公开(公告)日：2014-09-30

申请号：US13436499

申请日：2012-03-30

申请人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

发明人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00 ,  G06T19/00 ,  A63F13/98 ,  G09G3/00 ,  G02B27/01

CPC分类号： G09G3/003 ,  A63B71/00 ,  A63F13/02 ,  A63F13/216 ,  A63F13/816 ,  A63F2300/301 ,  A63F2300/308 ,  A63F2300/8082 ,  G02B27/0101 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06T19/006 ,  G09G2320/068 ,  G09G2320/0693 ,  G09G2380/00

摘要： The technology described herein includes a see-through, near-eye, mixed reality display device for providing customized experiences for a user. The personal A/V apparatus serves as an exercise program that is always with the user, provides motivation for the user, visually tells the user how to exercise, and lets the user exercise with other people who are not present.

摘要翻译： 本文描述的技术包括用于为用户提供定制体验的透视，近眼，混合现实显示设备。 个人A / V设备作为一个总是与用户一起锻炼的锻炼计划，为用户提供动机，视觉上告诉用户锻炼身体，并让用户锻炼身体不在场的其他人。