公开(公告)号：US20150029218A1

公开(公告)日：2015-01-29

申请号：US13951351

申请日：2013-07-25

申请人： Oliver Michael Christian Williams ,  Paul Barham ,  Michael Isard ,  Tuan Wong ,  Kevin Woo ,  Georg Klein ,  Douglas Kevin Service ,  Ashraf Ayman Michail ,  Andrew Pearson ,  Martin Shetter ,  Jeffrey Neil Margolis ,  Nathan Ackerman ,  Calvin Chan ,  Arthur C. Tomlin

发明人： Oliver Michael Christian Williams ,  Paul Barham ,  Michael Isard ,  Tuan Wong ,  Kevin Woo ,  Georg Klein ,  Douglas Kevin Service ,  Ashraf Ayman Michail ,  Andrew Pearson ,  Martin Shetter ,  Jeffrey Neil Margolis ,  Nathan Ackerman ,  Calvin Chan ,  Arthur C. Tomlin

IPC分类号： G06T19/00 ,  G02B27/01

CPC分类号： G06T19/006 ,  G02B27/017 ,  G02B27/0172 ,  G02B27/0179 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/012 ,  G06F3/013 ,  G06F3/04815 ,  G06K9/6215 ,  G06K9/66 ,  G06T3/20 ,  G09G3/3208 ,  G09G2300/04

摘要： Methods for generating and displaying images associated with one or more virtual objects within an augmented reality environment at a frame rate that is greater than a rendering frame rate are described. The rendering frame rate may correspond with the minimum time to render images associated with a pose of a head-mounted display device (HMD). In some embodiments, the HMD may determine a predicted pose associated with a future position and orientation of the HMD, generate a pre-rendered image based on the predicted pose, determine an updated pose associated with the HMD subsequent to generating the pre-rendered image, generate an updated image based on the updated pose and the pre-rendered image, and display the updated image on the HMD. The updated image may be generated via a homographic transformation and/or a pixel offset adjustment of the pre-rendered image.

摘要翻译： 描述了以大于渲染帧速率的帧速率在增强现实环境内生成和显示与一个或多个虚拟对象相关联的图像的方法。 渲染帧速率可以对应于呈现与头戴式显示设备（HMD）的姿势相关联的图像的最小时间。 在一些实施例中，HMD可以确定与HMD的未来位置和取向相关联的预测姿态，基于预测姿态生成预渲染图像，在生成预渲染图像之后确定与HMD相关联的更新姿态 基于更新的姿势和预先呈现的图像生成更新的图像，并且在HMD上显示更新的图像。 可以经由预渲染图像的同形变换和/或像素偏移调整来生成更新的图像。

公开(公告)号：US20150002542A1

公开(公告)日：2015-01-01

申请号：US13931554

申请日：2013-06-28

申请人： Calvin Chan ,  Jeffrey Neil Margolis ,  Andrew Pearson ,  Martin Shetter ,  Ashraf Ayman Michail ,  Barry Corlett

发明人： Calvin Chan ,  Jeffrey Neil Margolis ,  Andrew Pearson ,  Martin Shetter ,  Ashraf Ayman Michail ,  Barry Corlett

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  G02B27/0093 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/048 ,  G06T3/0006 ,  G06T7/70 ,  G06T2207/30244 ,  G09G3/003 ,  G09G3/007 ,  G09G3/3225 ,  G09G2300/0804 ,  G09G2340/0435 ,  G09G2340/0464 ,  G09G2340/0471 ,  G09G2340/0478

摘要： Methods for generating and displaying images associated with one or more virtual objects within an augmented reality environment at a frame rate that is greater than a rendering frame rate are described. The rendering frame rate may correspond with the minimum time to render images associated with a pose of a head-mounted display device (HMD). In some embodiments, the HMD may determine a predicted pose associated with a future position and orientation of the HMD, generate a pre-rendered image based on the predicted pose, determine an updated pose associated with the HMD subsequent to generating the pre-rendered image, generate an updated image based on the updated pose and the pre-rendered image, and display the updated image on the HMD. The updated image may be generated via a homographic transformation and/or a pixel offset adjustment of the pre-rendered image by circuitry within the display.

摘要翻译： 描述了以大于渲染帧速率的帧速率在增强现实环境内生成和显示与一个或多个虚拟对象相关联的图像的方法。 渲染帧速率可以对应于呈现与头戴式显示设备（HMD）的姿势相关联的图像的最小时间。 在一些实施例中，HMD可以确定与HMD的未来位置和取向相关联的预测姿态，基于预测姿态生成预渲染图像，在生成预渲染图像之后确定与HMD相关联的更新姿态 基于更新的姿势和预先呈现的图像生成更新的图像，并且在HMD上显示更新的图像。 更新的图像可以通过显示器内的电路的预处理图像的单色变换和/或像素偏移调整来生成。

公开(公告)号：US20160299567A1

公开(公告)日：2016-10-13

申请号：US14682860

申请日：2015-04-09

申请人： Matthew Calbraith Crisler ,  Robert Thomas Held ,  Stephen Latta ,  Ashraf Ayman Michail ,  Martin Shetter ,  Arthur Tomlin

发明人： Matthew Calbraith Crisler ,  Robert Thomas Held ,  Stephen Latta ,  Ashraf Ayman Michail ,  Martin Shetter ,  Arthur Tomlin

IPC分类号： G06F3/01

CPC分类号： G06F3/013 ,  G02B27/0093 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0181 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/012 ,  G06F3/04815 ,  H04N13/324 ,  H04N13/344 ,  H04N13/363

摘要： One embodiment provides a method to display video such as computer-rendered animation or other video. The method includes assembling a sequence of video frames featuring a moving object, each video frame including a plurality of subframes sequenced for display according to a schedule. The method also includes determining a vector-valued differential velocity of the moving object relative to a head of an observer of the video. At a time scheduled for display of a first subframe of a given frame, first-subframe image content transformed by a first transform is displayed. At a time scheduled for display of the second subframe of the given frame, second-subframe image content transformed by a second transform is displayed. The first and second transforms are computed based on the vector-valued differential velocity to mitigate artifacts.

摘要翻译： 一个实施例提供了一种显示诸如计算机渲染动画或其他视频的视频的方法。 该方法包括组装以移动对象为特征的视频帧序列，每个视频帧包括根据时间表排列显示的多个子帧。 该方法还包括确定移动物体相对于视频观察者的头部的向量值的差分速度。 在预定显示给定帧的第一子帧的时刻，显示通过第一变换变换的第一子帧图像内容。 在预定显示给定帧的第二子帧的时刻，显示通过第二变换变换的第二子帧图像内容。 第一和第二变换是基于向量值差速计算的，以减轻伪像。

公开(公告)号：US20130117692A1

公开(公告)日：2013-05-09

申请号：US13292998

申请日：2011-11-09

申请人： Udiyan Padmanabhan ,  William Messing ,  Joseph H. Matthews, III ,  Martin Shetter ,  Tatiana Gershanovich ,  Michael J. Ricker ,  Jannes Paul Peters

发明人： Udiyan Padmanabhan ,  William Messing ,  Joseph H. Matthews, III ,  Martin Shetter ,  Tatiana Gershanovich ,  Michael J. Ricker ,  Jannes Paul Peters

IPC分类号： G06F3/01 ,  G06F15/16

CPC分类号： G06F17/30038 ,  G06K9/00288 ,  G06K9/6217 ,  G11B27/031 ,  H04L65/403 ,  H04L65/4084 ,  H04L67/18 ,  H04N21/4126 ,  H04N21/422 ,  H04N21/42202 ,  H04N21/4223 ,  H04N21/4586 ,  H04N21/47 ,  H04N21/472 ,  H04N21/4788 ,  H04N21/8126 ,  H04N21/84

摘要： Exemplary methods, apparatus, and systems are disclosed for capturing, organizing, sharing, and/or displaying media. For example, using embodiments of the disclosed technology, a unified playback and browsing experience for a collection of media can be created automatically. For instance, heuristics and metadata can be used to assemble and add narratives to the media data. Furthermore, this representation of media can recompose itself dynamically as more media is added to the collection. While a collection may use a single user's content, sometimes media that is desirable to include in the collection is captured by friends and/or others at the same event. In certain embodiments, media content related to the event can be automatically collected and shared among selected groups. Further, in some embodiments, new media can be automatically incorporated into a media collection associated with the event, and the playback experience dynamically updated.

摘要翻译： 公开了用于捕获，组织，共享和/或显示媒体的示例性方法，装置和系统。 例如，使用所公开的技术的实施例，可以自动地创建用于媒体集合的统一回放和浏览体验。 例如，启发式和元数据可用于组合和添加媒体数据的叙述。 此外，随着更多媒体被添加到集合中，媒体的这种表示可以动态重构自己。 虽然集合可以使用单个用户的内容，但是有时候，包含在集合中的媒体被朋友和/或其他在同一事件中捕获。 在某些实施例中，与事件相关的媒体内容可以被自动地收集并在所选择的组之间共享。 此外，在一些实施例中，可以将新媒体自动地并入到与事件相关联的媒体集合中，并且动态地更新播放体验。

公开(公告)号：US20150317832A1

公开(公告)日：2015-11-05

申请号：US14267625

申请日：2014-05-01

申请人： Michael John Ebstyne ,  Frederik Schaffalitzky ,  Drew Steedly ,  Ethan Eade ,  Martin Shetter ,  Michael Grabner

发明人： Michael John Ebstyne ,  Frederik Schaffalitzky ,  Drew Steedly ,  Ethan Eade ,  Martin Shetter ,  Michael Grabner

IPC分类号： G06T19/00 ,  G02B27/01 ,  G02B27/00

CPC分类号： G06F3/011 ,  G02B27/0093 ,  G02B27/017 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/012 ,  G06F2200/1637 ,  G06T19/006

摘要： Embodiments that relate to communicating to a user of a head-mounted display device an estimated quality level of a world-lock display mode are disclosed. For example, in one disclosed embodiment a sensor data is received from one or more sensors of the device. Using the sensor data, an estimated pose of the device is determined. Using the estimated pose, one or more virtual objects are displayed via the device in either the world-lock display mode or in a body-lock display mode. One or more of input uncertainty values of the sensor data and pose uncertainty values of the estimated pose are determined. The input uncertainty values and/or pose uncertainty values are mapped to the estimated quality level of the world-lock display mode. Feedback of the estimated quality level is communicated to a user via device.

摘要翻译： 公开了与头戴式显示装置的用户通信世界锁定显示模式的估计质量水平相关的实施例。 例如，在一个公开的实施例中，从设备的一个或多个传感器接收传感器数据。 使用传感器数据，确定装置的估计姿态。 使用估计的姿态，通过设备以世界锁定显示模式或身体锁定显示模式来显示一个或多个虚拟对象。 确定传感器数据的输入不确定度值和估计姿态的不确定性值的一个或多个。 输入不确定度值和/或姿态不确定性值被映射到世界锁定显示模式的估计质量水平。 估计质量水平的反馈通过设备传达给用户。

公开(公告)号：US20050099403A1

公开(公告)日：2005-05-12

申请号：US11008041

申请日：2004-12-09

申请人： Mark Kraus ,  Vu Nguyen ,  Martin Shetter

发明人： Mark Kraus ,  Vu Nguyen ,  Martin Shetter

IPC分类号： B41J5/10 ,  G06F3/023 ,  G06F3/033 ,  G06F3/048 ,  G09G5/00

CPC分类号： G06F3/0224 ,  B41J5/102 ,  G06F3/0238 ,  G06F3/04886 ,  G06F19/00 ,  G06F2203/04809

摘要： Disclosed is a “keyboard overlay” that sits on top of a touch-sensitive display screen of a computing device. After aligning the overlay on the display screen, the user types on the overlay. When the user presses a key on the overlay, the pressure is transmitted to the display screen below. That pressure is registered by the display screen as a touch. The keyboard overlay is formed to provide tactile finger-position feedback so that a user can keep his fingers oriented properly over the keyboard. The overlay may be opaque with keycap information displayed in the key areas. The overlay may be transparent, allowing a user to see a virtual keyboard painted on the display screen below. The computing device can detect the presence and type of an overlay. Applications may respond differently to different types of overlays. Different applications may be invoked depending upon the type of overlay detected.

公开(公告)号：US06882337B2

公开(公告)日：2005-04-19

申请号：US10124930

申请日：2002-04-18

申请人： Martin Shetter

发明人： Martin Shetter

IPC分类号： G06F3/033 ,  G06F3/048 ,  G09G5/00

CPC分类号： G06F3/04886 ,  G06F3/167

摘要： A virtual keyboard displayed on a touch sensitive screen allows a user to do touch-typing thereon to enter textual data into a computer. The keyboard image has a standard key layout for typewriting, and the keys are sized to allow the fingers of the user to take the positions necessary for “ten-finger” touch-typing in the standard fashion. The virtual keyboard image is semi-transparently displayed over on a background image, with the individual keys shown with shaded edges so that they can be easily distinguished from features in the background image. When a key is touched, a sound is generated. The sound generated when the touch is away from a target portion of the key is different from the sound generated when the touch is on or adjacent to the target portion of the key, thereby providing audio feedback to enable the user to adjust finger positions to maintain proper alignment with the virtual keys.

摘要翻译： 显示在触敏屏幕上的虚拟键盘允许用户在其上进行触摸输入以将文本数据输入到计算机中。 键盘图像具有用于打字的标准键布局，并且按键的尺寸设置为允许用户的手指以标准方式采取“十指”触摸打字所需的位置。 虚拟键盘图像半透明地显示在背景图像上，单个键以阴影边显示，以便它们可以轻松地与背景图像中的特征区分开。 当键被触摸时，会产生声音。 当触摸远离键的目标部分时产生的声音不同于当触摸在键的目标部分上或相邻时产生的声音，从而提供音频反馈以使得用户能够调整手指位置以维持 与虚拟键正确对齐。

公开(公告)号：US06880998B2

公开(公告)日：2005-04-19

申请号：US10850159

申请日：2004-05-20

申请人： Mark Gerard Kraus ,  Vu Xuan Nguyen ,  Martin Shetter

发明人： Mark Gerard Kraus ,  Vu Xuan Nguyen ,  Martin Shetter

IPC分类号： B41J5/10 ,  G06F3/023 ,  G06F3/033 ,  G06F3/048 ,  B41J29/12

CPC分类号： G06F3/0224 ,  B41J5/102 ,  G06F3/0238 ,  G06F3/04886 ,  G06F19/00 ,  G06F2203/04809

摘要： Disclosed is a “keyboard overlay” that sits on top of a touch-sensitive display screen of a computing device. After aligning the overlay on the display screen, the user types on the overlay. When the user presses a key on the overlay, the pressure is transmitted to the display screen below. That pressure is registered by the display screen as a touch. The keyboard overlay is formed to provide tactile finger-position feedback so that a user can keep his fingers oriented properly over the keyboard. The overlay may be opaque with keycap information displayed in the key areas. The overlay may be transparent, allowing a user to see a virtual keyboard painted on the display screen below. The computing device can detect the presence and type of an overlay. Applications may respond differently to different types of overlays. Different applications may be invoked depending upon the type of overlay detected.

摘要翻译： 公开了一种位于计算设备的触敏显示屏幕顶部的“键盘覆盖”。 在显示屏幕上对齐叠加层后，用户在叠加层上键入。 当用户按下覆盖层上的键时，压力将被传送到下面的显示屏幕。 该压力由显示屏幕记录为触摸。 形成键盘覆盖层以提供触觉手指位置反馈，使得用户可以使他的手指保持正确地定位在键盘上。 键盘信息显示在关键区域中，叠加层可能是不透明的。 覆盖可以是透明的，允许用户看到在下面的显示屏幕上绘制的虚拟键盘。 计算设备可以检测覆盖层的存在和类型。 应用程序可能会对不同类型的覆盖进行不同的响应。 可以根据检测到的覆盖类型调用不同的应用程序。

公开(公告)号：US09280545B2

公开(公告)日：2016-03-08

申请号：US13292998

申请日：2011-11-09

申请人： Udiyan Padmanabhan ,  William Messing ,  Joseph H. Matthews, III ,  Martin Shetter ,  Tatiana Gershanovich ,  Michael J. Ricker ,  Jannes Paul Peters

发明人： Udiyan Padmanabhan ,  William Messing ,  Joseph H. Matthews, III ,  Martin Shetter ,  Tatiana Gershanovich ,  Michael J. Ricker ,  Jannes Paul Peters

IPC分类号： G06F17/00 ,  G06F17/30 ,  H04N21/41 ,  H04N21/422 ,  H04N21/4223 ,  H04N21/458 ,  H04N21/47 ,  H04N21/472 ,  H04N21/4788 ,  H04N21/81 ,  H04N21/84

CPC分类号： G06F17/30038 ,  G06K9/00288 ,  G06K9/6217 ,  G11B27/031 ,  H04L65/403 ,  H04L65/4084 ,  H04L67/18 ,  H04N21/4126 ,  H04N21/422 ,  H04N21/42202 ,  H04N21/4223 ,  H04N21/4586 ,  H04N21/47 ,  H04N21/472 ,  H04N21/4788 ,  H04N21/8126 ,  H04N21/84

摘要： Exemplary methods, apparatus, and systems are disclosed for capturing, organizing, sharing, and/or displaying media. For example, using embodiments of the disclosed technology, a unified playback and browsing experience for a collection of media can be created automatically. For instance, heuristics and metadata can be used to assemble and add narratives to the media data. Furthermore, this representation of media can recompose itself dynamically as more media is added to the collection. While a collection may use a single user's content, sometimes media that is desirable to include in the collection is captured by friends and/or others at the same event. In certain embodiments, media content related to the event can be automatically collected and shared among selected groups. Further, in some embodiments, new media can be automatically incorporated into a media collection associated with the event, and the playback experience dynamically updated.

摘要翻译： 公开了用于捕获，组织，共享和/或显示媒体的示例性方法，装置和系统。 例如，使用所公开的技术的实施例，可以自动地创建用于媒体集合的统一回放和浏览体验。 例如，启发式和元数据可用于组合和添加媒体数据的叙述。 此外，随着更多媒体被添加到集合中，媒体的这种表示可以动态重构自己。 虽然集合可以使用单个用户的内容，但是有时候，包含在集合中的媒体被朋友和/或其他在同一事件中捕获。 在某些实施例中，与事件相关的媒体内容可以被自动地收集并在所选择的组之间共享。 此外，在一些实施例中，可以将新媒体自动地并入到与事件相关联的媒体集合中，并且动态地更新播放体验。

公开(公告)号：US09143601B2

公开(公告)日：2015-09-22

申请号：US13292997

申请日：2011-11-09

申请人： Udiyan Padmanabhan ,  William Messing ,  Martin Shetter ,  Tatiana Gershanovich ,  Michael J. Ricker ,  Jannes Paul Peters ,  Raman Kumar Sarin ,  Joseph H. Matthews, III ,  Monica Gonzalez ,  Jae Pum Park

发明人： Udiyan Padmanabhan ,  William Messing ,  Martin Shetter ,  Tatiana Gershanovich ,  Michael J. Ricker ,  Jannes Paul Peters ,  Raman Kumar Sarin ,  Joseph H. Matthews, III ,  Monica Gonzalez ,  Jae Pum Park

IPC分类号： G06F15/173 ,  H04M1/725 ,  H04W4/02 ,  H04L12/58 ,  H04W4/20 ,  H04L29/08

CPC分类号： H04W4/206 ,  H04L51/32 ,  H04L67/10 ,  H04M1/72547 ,  H04W4/02 ,  H04W4/21

摘要： Exemplary methods, apparatus, and systems are disclosed for capturing, organizing, sharing, and/or displaying media. For example, using embodiments of the disclosed technology, a unified playback and browsing experience for a collection of media can be created automatically. For instance, heuristics and metadata can be used to assemble and add narratives to the media data. Furthermore, this representation of media can recompose itself dynamically as more media is added to the collection. While a collection may use a single user's content, sometimes media that is desirable to include in the collection is captured by friends and/or others at the same event. In certain embodiments, media content related to the event can be automatically collected and shared among selected groups. Further, in some embodiments, new media can be automatically incorporated into a media collection associated with the event, and the playback experience dynamically updated.

摘要翻译： 公开了用于捕获，组织，共享和/或显示媒体的示例性方法，装置和系统。 例如，使用所公开的技术的实施例，可以自动地创建用于媒体集合的统一回放和浏览体验。 例如，启发式和元数据可用于组合和添加媒体数据的叙述。 此外，随着更多媒体被添加到集合中，媒体的这种表示可以动态重构自己。 虽然集合可以使用单个用户的内容，但是有时候，包含在集合中的媒体被朋友和/或其他在同一事件中捕获。 在某些实施例中，与事件相关的媒体内容可以被自动地收集并在所选择的组之间共享。 此外，在一些实施例中，可以将新媒体自动地并入到与事件相关联的媒体集合中，并且动态地更新播放体验。