公开(公告)号：US09122053B2

公开(公告)日：2015-09-01

申请号：US13443368

申请日：2012-04-10

申请人： Kevin A. Geisner ,  Brian J. Mount ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kyungsuk David Lee ,  Ben J. Sugden ,  Jeffrey N. Margolis ,  Kathryn Stone Perez ,  Sheridan Martin Small ,  Mark J. Finocchio ,  Robert L. Crocco, Jr.

发明人： Kevin A. Geisner ,  Brian J. Mount ,  Stephen G. Latta ,  Daniel J. McCulloch ,  Kyungsuk David Lee ,  Ben J. Sugden ,  Jeffrey N. Margolis ,  Kathryn Stone Perez ,  Sheridan Martin Small ,  Mark J. Finocchio ,  Robert L. Crocco, Jr.

IPC分类号： G06T17/00 ,  G02B27/01 ,  G06F3/01 ,  G06T19/00 ,  G06K9/00

CPC分类号： G02B27/017 ,  G02B2027/0127 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G06F3/011 ,  G06F3/013 ,  G06F3/165 ,  G06F3/167 ,  G06K9/00214 ,  G06K9/00335 ,  G06K9/00671 ,  G06K9/34 ,  G06T19/006 ,  H04S7/304 ,  H04S7/306 ,  H04S2400/11 ,  H04S2400/15 ,  H04S2420/03

摘要： Technology is described for providing realistic occlusion between a virtual object displayed by a head mounted, augmented reality display system and a real object visible to the user's eyes through the display. A spatial occlusion in a user field of view of the display is typically a three dimensional occlusion determined based on a three dimensional space mapping of real and virtual objects. An occlusion interface between a real object and a virtual object can be modeled at a level of detail determined based on criteria such as distance within the field of view, display size or position with respect to a point of gaze. Technology is also described for providing three dimensional audio occlusion based on an occlusion between a real object and a virtual object in the user environment.

摘要翻译： 描述了技术，用于在由头戴式显示器，增强现实显示系统显示的虚拟对象和通过显示器对用户的眼睛可见的真实物体之间提供逼真的遮挡。 显示器的用户视野中的空间遮挡通常是基于实际和虚拟物体的三维空间映射确定的三维遮挡。 可以以基于诸如视场内的距离，相对于凝视点的显示大小或位置的标准确定的细节级别来建模真实对象和虚拟对象之间的遮挡界面。 还描述了用于基于用户环境中的真实对象和虚拟对象之间的遮挡来提供三维音频遮挡的技术。

公开(公告)号：US09026596B2

公开(公告)日：2015-05-05

申请号：US13162528

申请日：2011-06-16

申请人： Kathryn Stone Perez ,  Alex Kipman ,  Andrew Fuller

发明人： Kathryn Stone Perez ,  Alex Kipman ,  Andrew Fuller

IPC分类号： G06F15/16 ,  G02B27/01 ,  H04N5/91 ,  H04N9/82 ,  H04N21/2743 ,  H04N21/41 ,  H04N21/414 ,  H04N21/4223 ,  H04N21/435 ,  H04N21/475 ,  H04N21/4788 ,  H04N21/63 ,  H04N21/6377 ,  H04N5/765

CPC分类号： G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  H04N5/765 ,  H04N5/91 ,  H04N9/8205 ,  H04N9/8227 ,  H04N21/2743 ,  H04N21/4122 ,  H04N21/41407 ,  H04N21/4223 ,  H04N21/435 ,  H04N21/4756 ,  H04N21/4788 ,  H04N21/632 ,  H04N21/6377

摘要： Embodiments are disclosed that relate to sharing media streams capturing different perspectives of an event. For example, one embodiment provides, on a computing device, a method including storing an event definition for an event, receiving from each capture device of a plurality of capture devices a request to share a media stream provided by the capture device, receiving a media stream from each capture device of the plurality of capture devices, and associating a subset of media streams from the plurality of capture devices with the event based upon the event definition. The method further includes receiving a request for transmission of a selected media stream associated with the event, and sending the selected media stream associated with the event to the requesting capture device.

摘要翻译： 公开了涉及分享捕获事件不同视角的媒体流的实施例。 例如，一个实施例在计算设备上提供了一种方法，包括存储事件的事件定义，从多个捕获设备的每个捕获设备接收共享由捕获设备提供的媒体流的请求，接收媒体 流从多个捕获设备中的每个捕获设备，以及基于事件定义将来自多个捕获设备的媒体流的子集与事件相关联。 所述方法还包括接收与所述事件相关联的所选择的媒体流的传输请求，以及将与所述事件相关联的所选择的媒体流发送到所述请求捕获设备。

公开(公告)号：US09025252B2

公开(公告)日：2015-05-05

申请号：US13221707

申请日：2011-08-30

申请人： John R. Lewis ,  Kathryn Stone Perez ,  Robert L. Crocco ,  Alex Aben-Athar Kipman

发明人： John R. Lewis ,  Kathryn Stone Perez ,  Robert L. Crocco ,  Alex Aben-Athar Kipman

IPC分类号： G02B27/14 ,  G03H1/00 ,  G02F1/1335 ,  G03B21/26 ,  G09G5/00 ,  A61B3/14 ,  G02B7/12 ,  A61B3/11 ,  A61B3/113 ,  G02B27/22 ,  G06F9/44 ,  G06T19/00 ,  G02B27/01 ,  H04N13/04 ,  G06T7/00 ,  G06K9/00

CPC分类号： G02B7/12 ,  A61B3/111 ,  A61B3/113 ,  G02B27/017 ,  G02B27/0176 ,  G02B27/2242 ,  G02B2027/014 ,  G06F9/451 ,  G06K9/00604 ,  G06T7/73 ,  G06T19/006 ,  G06T2207/10048 ,  G06T2207/30201 ,  H04N13/344 ,  H04N13/383 ,  H04N2213/001

摘要： The technology provides for adjusting a see-through, near-eye, mixed reality display device for alignment with an inter-pupillary distance (IPD) of a user by different examples of display adjustment mechanisms. The see-through, near-eye, mixed reality system includes for each eye a display optical system having an optical axis. Each display optical system is positioned to be seen through by a respective eye, and is supported on a respective movable support structure. A display adjustment mechanism attached to the display device also connects with each movable support structure for moving the structure. A determination is automatically made as to whether the display device is aligned with an IPD of a user. If not aligned, one or more adjustment values for a position of at least one of the display optical systems is automatically determined. The display adjustment mechanism moves the at least one display optical system in accordance with the adjustment values.

摘要翻译： 该技术提供了通过显示调整机构的不同示例来调整透视眼睛混合现实显示设备，以与用户的瞳孔间距（IPD）对准。 透视，近眼，混合现实系统包括每个眼睛具有光轴的显示光学系统。 每个显示光学系统定位成通过相应的眼睛看到，并被支撑在相应的可移动支撑结构上。 附接到显示装置的显示调节机构也与用于移动结构的每个可移动支撑结构连接。 自动确定显示设备是否与用户的IPD对齐。 如果不对齐，则自动确定至少一个显示光学系统的位置的一个或多个调整值。 显示调整机构根据调整值移动至少一个显示光学系统。

公开(公告)号：US09015638B2

公开(公告)日：2015-04-21

申请号：US12434553

申请日：2009-05-01

申请人： Alex Kipman ,  Kathryn Stone Perez ,  R. Stephen Polzin ,  William Guo

发明人： Alex Kipman ,  Kathryn Stone Perez ,  R. Stephen Polzin ,  William Guo

IPC分类号： G06F3/033 ,  A63F13/10 ,  G06F3/0488 ,  G06F3/01 ,  A63F13/30 ,  A63F13/20 ,  G06F3/03

CPC分类号： A63F13/28 ,  A63F13/06 ,  A63F13/213 ,  A63F13/42 ,  A63F13/843 ,  A63F2300/1093 ,  A63F2300/6045 ,  G06F3/011 ,  G06F3/017 ,  G06F3/0304 ,  G06F3/04883

摘要： Techniques for managing a set of states associated with a capture device are disclosed herein. The capture device may detect and bind to users, and may provide feedback about whether the capture device is bound to, or detecting a user. Techniques are also disclosed wherein virtual ports may be associated with users bound to a capture device and feedback about the state of virtual ports may be provided.

摘要翻译： 本文公开了用于管理与捕获装置相关联的一组状态的技术。 捕获设备可以检测并绑定到用户，并且可以提供关于捕获设备是绑定到还是检测用户的反馈。 还公开了技术，其中虚拟端口可以与绑定到捕获设备的用户相关联，并且可以提供关于虚拟端口的状态的反馈。

公开(公告)号：US08963805B2

公开(公告)日：2015-02-24

申请号：US13360281

申请日：2012-01-27

申请人： Ben Sugden ,  John Clavin ,  Ben Vaught ,  Stephen Latta ,  Kathryn Stone Perez ,  Daniel McCulloch ,  Jason Scott ,  Wei Zhang ,  Darren Bennett ,  Ryan Hastings ,  Arthur Tomlin ,  Kevin Geisner

发明人： Ben Sugden ,  John Clavin ,  Ben Vaught ,  Stephen Latta ,  Kathryn Stone Perez ,  Daniel McCulloch ,  Jason Scott ,  Wei Zhang ,  Darren Bennett ,  Ryan Hastings ,  Arthur Tomlin ,  Kevin Geisner

IPC分类号： G09G5/00

CPC分类号： G06T19/006 ,  G02B27/01 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0141 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/013 ,  G06F3/017 ,  G06F3/1407 ,  G06F3/167 ,  G06F17/30241 ,  G06T7/12 ,  G06T7/194 ,  G06T7/215

摘要： Embodiments for interacting with an executable virtual object associated with a real object are disclosed. In one example, a method for interacting with an executable virtual object associated with a real object includes receiving sensor input from one or more sensors attached to the portable see-through display device, and obtaining information regarding a location of the user based on the sensor input. The method also includes, if the location includes a real object comprising an associated executable virtual object, then determining an intent of the user to interact with the executable virtual object, and if the intent to interact is determined, then interacting with the executable object.

公开(公告)号：US08847988B2

公开(公告)日：2014-09-30

申请号：US13436499

申请日：2012-03-30

申请人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

发明人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00 ,  G06T19/00 ,  A63F13/98 ,  G09G3/00 ,  G02B27/01

CPC分类号： G09G3/003 ,  A63B71/00 ,  A63F13/02 ,  A63F13/216 ,  A63F13/816 ,  A63F2300/301 ,  A63F2300/308 ,  A63F2300/8082 ,  G02B27/0101 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06T19/006 ,  G09G2320/068 ,  G09G2320/0693 ,  G09G2380/00

摘要： The technology described herein includes a see-through, near-eye, mixed reality display device for providing customized experiences for a user. The personal A/V apparatus serves as an exercise program that is always with the user, provides motivation for the user, visually tells the user how to exercise, and lets the user exercise with other people who are not present.

摘要翻译： 本文描述的技术包括用于为用户提供定制体验的透视，近眼，混合现实显示设备。 个人A / V设备作为一个总是与用户一起锻炼的锻炼计划，为用户提供动机，视觉上告诉用户锻炼身体，并让用户锻炼身体不在场的其他人。

公开(公告)号：US08418085B2

公开(公告)日：2013-04-09

申请号：US12474453

申请日：2009-05-29

申请人： Gregory N. Snook ,  Stephen Latta ,  Kevin Geisner ,  Darren Alexander Bennett ,  Kudo Tsunoda ,  Alex Kipman ,  Kathryn Stone Perez

发明人： Gregory N. Snook ,  Stephen Latta ,  Kevin Geisner ,  Darren Alexander Bennett ,  Kudo Tsunoda ,  Alex Kipman ,  Kathryn Stone Perez

IPC分类号： G06F3/00 ,  G06F3/033

CPC分类号： G06K9/00342 ,  G06F3/017 ,  G06F19/00 ,  G06F19/3481 ,  G09B19/0038

摘要： A capture device may capture a user's motion and a display device may display a model that maps to the user's motion, including gestures that are applicable for control. A user may be unfamiliar with a system that maps the user's motions or not know what gestures are applicable for an executing application. A user may not understand or know how to perform gestures that are applicable for the executing application. User motion data and/or outputs of filters corresponding to gestures may be analyzed to determine those cases where assistance to the user on performing the gesture is appropriate.

摘要翻译： 捕获设备可以捕获用户的运动，并且显示设备可以显示映射到用户的运动的模型，包括适用于控制的手势。 用户可能不熟悉映射用户的运动或不知道什么手势适用于执行应用的系统。 用户可能不了解或知道如何执行适用于执行应用程序的手势。 可以分析与手势相对应的滤波器的用户运动数据和/或输出，以确定在执行手势时对用户的帮助是适当的情况。

公开(公告)号：US20130083063A1

公开(公告)日：2013-04-04

申请号：US13436511

申请日：2012-03-30

申请人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Jeffrey B. Cole ,  Alex Aben-Athar Kipman ,  Ian D. McIntyre ,  Daniel McCulloch

发明人： Kevin A. Geisner ,  Kathryn Stone Perez ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Jeffrey B. Cole ,  Alex Aben-Athar Kipman ,  Ian D. McIntyre ,  Daniel McCulloch

IPC分类号： G09G5/00 ,  G06F3/033

CPC分类号： G06F3/011 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0187 ,  G06F3/013 ,  G06T19/006 ,  G09G3/003 ,  G09G5/363 ,  G09G2340/14 ,  G09G2340/145 ,  G09G2360/02 ,  G09G2370/022 ,  G09G2370/16 ,  G09G2380/00 ,  G09G2380/10

摘要： A collaborative on-demand system allows a user of a head-mounted display device (HMDD) to obtain assistance with an activity from a qualified service provider. In a session, the user and service provider exchange camera-captured images and augmented reality images. A gaze-detection capability of the HMDD allows the user to mark areas of interest in a scene. The service provider can similarly mark areas of the scene, as well as provide camera-captured images of the service provider's hand or arm pointing to or touching an object of the scene. The service provider can also select an animation or text to be displayed on the HMDD. A server can match user requests with qualified service providers which meet parameters regarding fee, location, rating and other preferences. Or, service providers can review open requests and self-select appropriate requests, initiating contact with a user.

摘要翻译： 协作式按需系统允许头戴式显示设备（HMDD）的用户获得来自合格服务提供商的活动的帮助。 在会话中，用户和服务提供商交换摄像机拍摄的图像和增强的现实图像。 HMDD的注视检测功能允许用户标记场景中的感兴趣区域。 服务提供商可以类似地标记场景的区域，以及提供指向或触摸场景的对象的服务提供者的手或手臂的照相机拍摄的图像。 服务提供商还可以选择要显示在HMDD上的动画或文本。 服务器可以将符合用户要求的合格服务提供商与符合费用，位置，评级和其他偏好的参数相匹配。 或者，服务提供商可以查看开放请求并自行选择适当的请求，启动与用户的联系。

公开(公告)号：US20130083018A1

公开(公告)日：2013-04-04

申请号：US13430972

申请日：2012-03-27

申请人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez

发明人： Kevin A. Geisner ,  Stephen G. Latta ,  Ben J. Sugden ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Kathryn Stone Perez

IPC分类号： G06T17/00 ,  G09G5/00

CPC分类号： G06F3/011

摘要： A system for generating an augmented reality environment using state-based virtual objects is described. A state-based virtual object may be associated with a plurality of different states. Each state of the plurality of different states may correspond with a unique set of triggering events different from those of any other state. The set of triggering events associated with a particular state may be used to determine when a state change from the particular state is required. In some cases, each state of the plurality of different states may be associated with a different 3-D model or shape. The plurality of different states may be defined using a predetermined and standardized file format that supports state-based virtual objects. In some embodiments, one or more potential state changes from a particular state may be predicted based on one or more triggering probabilities associated with the set of triggering events.

摘要翻译： 描述使用基于状态的虚拟对象来生成增强现实环境的系统。 基于状态的虚拟对象可以与多个不同的状态相关联。 多个不同状态的每个状态可以对应于与任何其他状态不同的唯一的触发事件集合。 可以使用与特定状态相关联的一组触发事件来确定何时需要状态从特定状态改变。 在一些情况下，多个不同状态的每个状态可以与不同的3-D模型或形状相关联。 可以使用支持基于状态的虚拟对象的预定和标准化文件格式来定义多个不同的状态。 在一些实施例中，可以基于与该组触发事件相关联的一个或多个触发概率来预测来自特定状态的一个或多个潜在状态改变。

公开(公告)号：US20130050833A1

公开(公告)日：2013-02-28

申请号：US13221707

申请日：2011-08-30

申请人： John R. Lewis ,  Kathryn Stone Perez ,  Robert L. Crocco ,  Alex Aben-Athar Kipman

发明人： John R. Lewis ,  Kathryn Stone Perez ,  Robert L. Crocco ,  Alex Aben-Athar Kipman

IPC分类号： G02B27/01

CPC分类号： G02B7/12 ,  A61B3/111 ,  A61B3/113 ,  G02B27/017 ,  G02B27/0176 ,  G02B27/2242 ,  G02B2027/014 ,  G06F9/451 ,  G06K9/00604 ,  G06T7/73 ,  G06T19/006 ,  G06T2207/10048 ,  G06T2207/30201 ,  H04N13/344 ,  H04N13/383 ,  H04N2213/001

摘要： The technology provides for adjusting a see-through, near-eye, mixed reality display device for alignment with an inter-pupillary distance (IPD) of a user by different examples of display adjustment mechanisms. The see-through, near-eye, mixed reality system includes for each eye a display optical system having an optical axis. Each display optical system is positioned to be seen through by a respective eye, and is supported on a respective movable support structure. A display adjustment mechanism attached to the display device also connects with each movable support structure for moving the structure. A determination is automatically made as to whether the display device is aligned with an IPD of a user. If not aligned, one or more adjustment values for a position of at least one of the display optical systems is automatically determined. The display adjustment mechanism moves the at least one display optical system in accordance with the adjustment values.

摘要翻译： 该技术提供了通过显示调整机构的不同示例来调整透视眼睛混合现实显示设备，以与用户的瞳孔间距（IPD）对准。 透视，近眼，混合现实系统包括每个眼睛具有光轴的显示光学系统。 每个显示光学系统定位成通过相应的眼睛看到，并被支撑在相应的可移动支撑结构上。 附接到显示装置的显示调节机构也与用于移动结构的每个可移动支撑结构连接。 自动确定显示设备是否与用户的IPD对齐。 如果不对齐，则自动确定至少一个显示光学系统的位置的一个或多个调整值。 显示调整机构根据调整值移动至少一个显示光学系统。