公开(公告)号：US09183676B2

公开(公告)日：2015-11-10

申请号：US13458800

申请日：2012-04-27

申请人： Daniel J. McCulloch ,  Stephen G. Latta ,  Brian J. Mount ,  Kevin A. Geisner ,  Roger Sebastian Kevin Sylvan ,  Arnulfo Zepeda Navratil ,  Jason Scott ,  Jonathan T. Steed ,  Ben J. Sugden ,  Britta Silke Hummel ,  Kyungsuk David Lee ,  Mark J. Finocchio ,  Alex Aben-Athar Kipman ,  Jeffrey N. Margolis

发明人： Daniel J. McCulloch ,  Stephen G. Latta ,  Brian J. Mount ,  Kevin A. Geisner ,  Roger Sebastian Kevin Sylvan ,  Arnulfo Zepeda Navratil ,  Jason Scott ,  Jonathan T. Steed ,  Ben J. Sugden ,  Britta Silke Hummel ,  Kyungsuk David Lee ,  Mark J. Finocchio ,  Alex Aben-Athar Kipman ,  Jeffrey N. Margolis

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  G06T2210/21

摘要： Technology is described for displaying a collision between objects by an augmented reality display device system. A collision between a real object and a virtual object is identified based on three dimensional space position data of the objects. At least one effect on at least one physical property of the real object is determined based on physical properties of the real object, like a change in surface shape, and physical interaction characteristics of the collision. Simulation image data is generated and displayed simulating the effect on the real object by the augmented reality display. Virtual objects under control of different executing applications can also interact with one another in collisions.

摘要翻译： 描述了用于通过增强现实显示设备系统显示对象之间的冲突的技术。 基于对象的三维空间位置数据来识别真实对象和虚拟对象之间的冲突。 基于真实物体的物理性质，如表面形状的变化和碰撞的物理相互作用特性，确定对真实物体的至少一种物理性质的至少一种影响。 通过增强现实显示模拟图像数据，模拟对真实物体的影响。 在不同执行应用程序的控制下的虚拟对象也可以在冲突中相互交互。

公开(公告)号：US09182815B2

公开(公告)日：2015-11-10

申请号：US13313368

申请日：2011-12-07

申请人： Sheridan Martin Small ,  Alex Aben-Athar Kipman ,  Benjamin I. Vaught ,  Kathryn Stone Perez

发明人： Sheridan Martin Small ,  Alex Aben-Athar Kipman ,  Benjamin I. Vaught ,  Kathryn Stone Perez

IPC分类号： G09G5/00 ,  G06F3/01

CPC分类号： G06T19/006 ,  G02B27/0093 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/013 ,  G06F3/017 ,  G06K9/00671

摘要： The technology provides embodiments for making static printed content being viewed through a see-through, mixed reality display device system more dynamic with display of virtual data. A printed content item, for example a book or magazine, is identified from image data captured by cameras on the display device, and user selection of a printed content selection within the printed content item is identified based on physical action user input, for example eye gaze or a gesture. A task in relation to the printed content selection can also be determined based on physical action user input. Virtual data for the printed content selection is displayed in accordance with the task. Additionally, virtual data can be linked to a work embodied in a printed content item. Furthermore, a virtual version of the printed material may be displayed at a more comfortable reading position and with improved visibility of the content.

摘要翻译： 该技术提供了通过具有虚拟数据的显示更动态的透明，混合现实显示设备系统来制作静态打印内容的实施例。 从显示装置上的照相机拍摄的图像数据识别出打印的内容项目，例如书籍或杂志，并且基于物理动作用户输入来识别打印内容项目内的打印内容选择的用户选择，例如眼睛 注视或手势。 关于印刷内容选择的任务也可以基于物理动作用户输入来确定。 根据任务显示打印内容选择的虚拟数据。 此外，虚拟数据可以链接到打印的内容项目中体现的作品。 此外，打印材料的虚拟版本可以以更舒适的阅读位置显示并且改善内容的可视性。

公开(公告)号：US20150220231A1

公开(公告)日：2015-08-06

申请号：US14687877

申请日：2015-04-15

申请人： Brian E. Keane ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Mathew J. Lamb ,  Alex Aben-Athar Kipman

发明人： Brian E. Keane ,  Ben J. Sugden ,  Robert L. Crocco, Jr. ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Mathew J. Lamb ,  Alex Aben-Athar Kipman

IPC分类号： G06F3/0483 ,  G06F3/14 ,  G10L21/10

CPC分类号： G06F3/0483 ,  G03H1/2294 ,  G03H2001/2284 ,  G03H2227/02 ,  G03H2270/55 ,  G06F3/011 ,  G06F3/1415 ,  G06T19/006 ,  G09B5/062 ,  G10L15/26 ,  G10L21/10 ,  G10L25/03 ,  G10L2021/105

摘要： A system for generating and displaying holographic visual aids associated with a story to an end user of a head-mounted display device while the end user is reading the story or perceiving the story being read aloud is described. The story may be embodied within a reading object (e.g., a book) in which words of the story may be displayed to the end user. The holographic visual aids may include a predefined character animation that is synchronized to a portion of the story corresponding with the character being animated. A reading pace of a portion of the story may be used to control the playback speed of the predefined character animation in real-time such that the character is perceived to be lip-syncing the story being read aloud. In some cases, an existing book without predetermined AR tags may be augmented with holographic visual aids.

摘要翻译： 描述了一种用于在最终用户正在阅读故事或感知故事被朗读的情况下向头戴式显示装置的终端用户生成和显示与故事相关联的全息视觉辅助装置的系统。 该故事可以体现在阅读对象（例如书籍）中，其中故事的话可以被显示给终端用户。 全息视觉辅助工具可以包括预定义的角色动画，其与与动画的角色对应的故事的一部分同步。 故事的一部分的阅读速度可以用于实时控制预定义的角色动画的播放速度，使得角色被感知为大声朗读故事的唇部同步。 在某些情况下，可以利用全息视觉辅助来增加没有预定AR标签的现有书。

公开(公告)号：US20140368532A1

公开(公告)日：2014-12-18

申请号：US13921053

申请日：2013-06-18

申请人： Brian E. Keane ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Daniel Deptford ,  Tom G. Salter ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Peter Tobias Kinnebrew ,  Nicholas Ferianc Kamuda

发明人： Brian E. Keane ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Daniel Deptford ,  Tom G. Salter ,  Laura K. Massey ,  Alex Aben-Athar Kipman ,  Peter Tobias Kinnebrew ,  Nicholas Ferianc Kamuda

IPC分类号： G02B27/01

CPC分类号： G02B27/017 ,  G06F3/012 ,  G06F3/04815 ,  G06T19/006

摘要： A method and apparatus for the creation of a perspective-locked virtual object having in world space. The virtual object may be consumed) by another user with a consumption device at a location, position, and orientation which is the same as, or proximate to, the location, position, and orientation where the virtual object is created. Objects may have one, few or many allowable consumption locations, positions, and orientations defined by its creator

摘要翻译： 一种用于创建具有世界空间的透视锁定虚拟对象的方法和装置。 虚拟对象可以被消费设备的消费设备所占据的位置，位置和方向消耗，该位置，位置和方向与创建虚拟对象的位置，位置和方向相同或接近。 对象可能具有一个，几个或许多允许的消费位置，位置和由其创建者定义的方向

公开(公告)号：US20140168261A1

公开(公告)日：2014-06-19

申请号：US13713910

申请日：2012-12-13

申请人： Jeffrey N. Margolis ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Georg Klein ,  Frederik Schaffalitzky ,  David Nister ,  Russ McMackin ,  Doug Barnes

发明人： Jeffrey N. Margolis ,  Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Georg Klein ,  Frederik Schaffalitzky ,  David Nister ,  Russ McMackin ,  Doug Barnes

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  A63F13/211 ,  A63F13/65 ,  A63F13/98 ,  G06F3/011 ,  H04N13/156 ,  H04N13/344

摘要： A system and method are disclosed for interacting with virtual objects in a virtual environment using an accessory such as a hand held object. The virtual object may be viewed using a display device. The display device and hand held object may cooperate to determine a scene map of the virtual environment, the display device and hand held object being registered in the scene map.

摘要翻译： 公开了一种用于使用诸如手持对象的附件在虚拟环境中与虚拟对象交互的系统和方法。 可以使用显示设备来查看虚拟对象。 显示装置和手持物体可以协作以确定在场景图中登记的虚拟环境，显示装置和手持物体的场景图。

公开(公告)号：US08675981B2

公开(公告)日：2014-03-18

申请号：US12813675

申请日：2010-06-11

申请人： Zhengyou Zhang ,  Alex Aben-Athar Kipman

发明人： Zhengyou Zhang ,  Alex Aben-Athar Kipman

IPC分类号： G06K9/40 ,  G06K9/62

CPC分类号： G06F3/038 ,  G06F3/017 ,  G06F2203/0381 ,  G06K9/00369

摘要： Gender recognition is performed using two or more modalities. For example, depth image data and one or more types of data other than depth image data is received. The data pertains to a person. The different types of data are fused together to automatically determine gender of the person. A computing system can subsequently interact with the person based on the determination of gender.

摘要翻译： 使用两种或多种方式进行性别识别。 例如，深度图像数据和深度图像数据以外的一种或多种类型的数据被接收。 数据属于一个人。 将不同类型的数据融合在一起，以自动确定该人的性别。 计算系统随后可以基于性别的确定与人交互。

公开(公告)号：US20140002496A1

公开(公告)日：2014-01-02

申请号：US13538848

申请日：2012-06-29

申请人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

发明人： Mathew J. Lamb ,  Ben J. Sugden ,  Robert L. Crocco, JR. ,  Brian E. Keane ,  Christopher E. Miles ,  Kathryn Stone Perez ,  Laura K. Massey ,  Alex Aben-Athar Kipman

IPC分类号： G09G5/00

CPC分类号： G09G5/00 ,  G02B27/017 ,  G02B2027/0134 ,  G02B2027/0138 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/14 ,  G06F3/147 ,  G06T19/006 ,  G09G3/003 ,  G09G2370/022 ,  G09G2380/14

摘要： A system for identifying an AR tag and determining a location for a virtual object within an augmented reality environment corresponding with the AR tag is described. In some environments, the location of a virtual object corresponding with a particular AR tag may be determined by identifying a predefined object, determining an orientation and a scale of the predefined object relative to a head-mounted display device (HMD) based on a model of the predefined object, and inferring the location of the virtual object based on the orientation and the scale of the predefined object. In some cases, an identification of the particular AR tag corresponding with the virtual object may be acquired by aggregating and analyzing individual identity determinations from a plurality of HMDs within an augmented reality environment.

摘要翻译： 描述用于识别AR标签并确定与AR标签相对应的增强现实环境中的虚拟对象的位置的系统。 在一些环境中，可以通过识别预定义对象来确定与特定AR标签对应的虚拟对象的位置，基于模型确定预定对象相对于头戴式显示设备（HMD）的方向和尺度 ，并且基于预定义对象的取向和比例来推断虚拟对象的位置。 在一些情况下，可以通过在增强现实环境内聚合和分析来自多个HMD的个体身份确定来获取与虚拟对象相对应的特定AR标签的识别。

公开(公告)号：US08602887B2

公开(公告)日：2013-12-10

申请号：US12792961

申请日：2010-06-03

申请人： John A. Tardif ,  Kathryn Stone Perez ,  Alex Aben-Athar Kipman ,  Dawson Yee

发明人： John A. Tardif ,  Kathryn Stone Perez ,  Alex Aben-Athar Kipman ,  Dawson Yee

IPC分类号： G06F17/00

CPC分类号： A63F13/63 ,  A63F13/213 ,  A63F13/215 ,  A63F2300/1018 ,  A63F2300/1087 ,  A63F2300/6072 ,  A63F2300/6081

摘要： A system and method are disclosed for synthesizing information received from multiple audio and visual sources focused on a single scene. The system may determine the positions of capture devices based on a common set of cues identified in the image data of the capture devices. As a scene may often have users and objects moving into and out of the scene, data from the multiple capture devices may be time synchronized to ensure that data from the audio and visual sources are providing data of the same scene at the same time. Audio and/or visual data from the multiple sources may be reconciled and assimilated together to improve an ability of the system to interpret audio and/or visual aspects from the scene.

摘要翻译： 公开了一种用于合成从聚焦在单个场景上的多个音频和视频源接收的信息的系统和方法。 系统可以基于在捕获设备的图像数据中识别的一组公共信号来确定捕获设备的位置。 由于场景通常可能使用户和对象进出场景，来自多个捕获设备的数据可能是时间同步的，以确保来自音频和视频源的数据同时提供相同场景的数据。 来自多个源的音频和/或视觉数据可以一起协调和同化，以提高系统从场景中解释音频和/或视觉方面的能力。

公开(公告)号：US08539473B2

公开(公告)日：2013-09-17

申请号：US11699631

申请日：2007-01-30

申请人： Michael LaManna ,  Alex Aben-Athar Kipman ,  Erik Neuenschwander ,  Letha Radebaugh

发明人： Michael LaManna ,  Alex Aben-Athar Kipman ,  Erik Neuenschwander ,  Letha Radebaugh

IPC分类号： G06F9/45

CPC分类号： G06F8/61

摘要： Techniques are described for providing information about installation states of software components using an interactive object. Information regarding one or more classifications is received. Each of the classifications indicates a different installation state. At least a portion of the information is displayed in a first area of the interactive object. A selectable element is included in the interactive object which, when selected, causes performance of an action.

摘要翻译： 描述了使用交互式对象提供关于软件组件的安装状态的信息的技术。 收到有关一个或多个分类的信息。 每个分类表示不同的安装状态。 信息的至少一部分显示在交互对象的第一区域中。 交互式对象中包含一个可选择的元素，当被选择时，该元素会导致一个动作的执行。

公开(公告)号：US20130002813A1

公开(公告)日：2013-01-03

申请号：US13172633

申请日：2011-06-29

申请人： Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Michael J. Scavezze ,  Arthur C. Tomlin ,  Relja Markovic ,  Darren Bennett ,  Stephen G. Latta

发明人： Benjamin I. Vaught ,  Alex Aben-Athar Kipman ,  Michael J. Scavezze ,  Arthur C. Tomlin ,  Relja Markovic ,  Darren Bennett ,  Stephen G. Latta

IPC分类号： H04N13/00 ,  H04N5/77

CPC分类号： H04N13/161 ,  H04N13/194 ,  H04N13/344 ,  H04N13/383 ,  H04N21/2187 ,  H04N21/274

摘要： Techniques are provided for viewing windows for video streams. A video stream from a video capture device is accessed. Data that describes movement or position of a person is accessed. A viewing window is placed in the video stream based on the data that describes movement or position of the person. The viewing window is provided to a display device in accordance with the placement of the viewing window in the video stream. Motion sensors can detect motion of the person carrying the video capture device in order to dampen the motion such that the video on the remote display does not suffer from motion artifacts. Sensors can also track the eye gaze of either the person carrying the mobile video capture device or the remote display device to enable control of the spatial region of the video stream shown at the display device.

摘要翻译： 提供技术来查看视频流的窗口。 来自视频采集设备的视频流被访问。 访问描述人的移动或位置的数据。 基于描述人的移动或位置的数据将观看窗口放置在视频流中。 根据观看窗口在视频流中的放置，将观看窗口提供给显示设备。 运动传感器可以检测携带视频捕获设备的人的运动，以便抑制运动，使得远程显示器上的视频不会受到运动伪像的影响。 传感器还可以跟踪携带移动视频捕获设备或远程显示设备的人的眼睛注视，以便能够控制显示设备上显示的视频流的空间区域。