公开(公告)号：US20160299567A1

公开(公告)日：2016-10-13

申请号：US14682860

申请日：2015-04-09

申请人： Matthew Calbraith Crisler ,  Robert Thomas Held ,  Stephen Latta ,  Ashraf Ayman Michail ,  Martin Shetter ,  Arthur Tomlin

发明人： Matthew Calbraith Crisler ,  Robert Thomas Held ,  Stephen Latta ,  Ashraf Ayman Michail ,  Martin Shetter ,  Arthur Tomlin

IPC分类号： G06F3/01

CPC分类号： G06F3/013 ,  G02B27/0093 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0181 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/012 ,  G06F3/04815 ,  H04N13/324 ,  H04N13/344 ,  H04N13/363

摘要： One embodiment provides a method to display video such as computer-rendered animation or other video. The method includes assembling a sequence of video frames featuring a moving object, each video frame including a plurality of subframes sequenced for display according to a schedule. The method also includes determining a vector-valued differential velocity of the moving object relative to a head of an observer of the video. At a time scheduled for display of a first subframe of a given frame, first-subframe image content transformed by a first transform is displayed. At a time scheduled for display of the second subframe of the given frame, second-subframe image content transformed by a second transform is displayed. The first and second transforms are computed based on the vector-valued differential velocity to mitigate artifacts.

摘要翻译： 一个实施例提供了一种显示诸如计算机渲染动画或其他视频的视频的方法。 该方法包括组装以移动对象为特征的视频帧序列，每个视频帧包括根据时间表排列显示的多个子帧。 该方法还包括确定移动物体相对于视频观察者的头部的向量值的差分速度。 在预定显示给定帧的第一子帧的时刻，显示通过第一变换变换的第一子帧图像内容。 在预定显示给定帧的第二子帧的时刻，显示通过第二变换变换的第二子帧图像内容。 第一和第二变换是基于向量值差速计算的，以减轻伪像。

公开(公告)号：US20150029218A1

公开(公告)日：2015-01-29

申请号：US13951351

申请日：2013-07-25

申请人： Oliver Michael Christian Williams ,  Paul Barham ,  Michael Isard ,  Tuan Wong ,  Kevin Woo ,  Georg Klein ,  Douglas Kevin Service ,  Ashraf Ayman Michail ,  Andrew Pearson ,  Martin Shetter ,  Jeffrey Neil Margolis ,  Nathan Ackerman ,  Calvin Chan ,  Arthur C. Tomlin

发明人： Oliver Michael Christian Williams ,  Paul Barham ,  Michael Isard ,  Tuan Wong ,  Kevin Woo ,  Georg Klein ,  Douglas Kevin Service ,  Ashraf Ayman Michail ,  Andrew Pearson ,  Martin Shetter ,  Jeffrey Neil Margolis ,  Nathan Ackerman ,  Calvin Chan ,  Arthur C. Tomlin

IPC分类号： G06T19/00 ,  G02B27/01

CPC分类号： G06T19/006 ,  G02B27/017 ,  G02B27/0172 ,  G02B27/0179 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/012 ,  G06F3/013 ,  G06F3/04815 ,  G06K9/6215 ,  G06K9/66 ,  G06T3/20 ,  G09G3/3208 ,  G09G2300/04

摘要： Methods for generating and displaying images associated with one or more virtual objects within an augmented reality environment at a frame rate that is greater than a rendering frame rate are described. The rendering frame rate may correspond with the minimum time to render images associated with a pose of a head-mounted display device (HMD). In some embodiments, the HMD may determine a predicted pose associated with a future position and orientation of the HMD, generate a pre-rendered image based on the predicted pose, determine an updated pose associated with the HMD subsequent to generating the pre-rendered image, generate an updated image based on the updated pose and the pre-rendered image, and display the updated image on the HMD. The updated image may be generated via a homographic transformation and/or a pixel offset adjustment of the pre-rendered image.

摘要翻译： 描述了以大于渲染帧速率的帧速率在增强现实环境内生成和显示与一个或多个虚拟对象相关联的图像的方法。 渲染帧速率可以对应于呈现与头戴式显示设备（HMD）的姿势相关联的图像的最小时间。 在一些实施例中，HMD可以确定与HMD的未来位置和取向相关联的预测姿态，基于预测姿态生成预渲染图像，在生成预渲染图像之后确定与HMD相关联的更新姿态 基于更新的姿势和预先呈现的图像生成更新的图像，并且在HMD上显示更新的图像。 可以经由预渲染图像的同形变换和/或像素偏移调整来生成更新的图像。

公开(公告)号：US20150002542A1

公开(公告)日：2015-01-01

申请号：US13931554

申请日：2013-06-28

申请人： Calvin Chan ,  Jeffrey Neil Margolis ,  Andrew Pearson ,  Martin Shetter ,  Ashraf Ayman Michail ,  Barry Corlett

发明人： Calvin Chan ,  Jeffrey Neil Margolis ,  Andrew Pearson ,  Martin Shetter ,  Ashraf Ayman Michail ,  Barry Corlett

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  G02B27/0093 ,  G02B27/017 ,  G02B27/0172 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/048 ,  G06T3/0006 ,  G06T7/70 ,  G06T2207/30244 ,  G09G3/003 ,  G09G3/007 ,  G09G3/3225 ,  G09G2300/0804 ,  G09G2340/0435 ,  G09G2340/0464 ,  G09G2340/0471 ,  G09G2340/0478

摘要： Methods for generating and displaying images associated with one or more virtual objects within an augmented reality environment at a frame rate that is greater than a rendering frame rate are described. The rendering frame rate may correspond with the minimum time to render images associated with a pose of a head-mounted display device (HMD). In some embodiments, the HMD may determine a predicted pose associated with a future position and orientation of the HMD, generate a pre-rendered image based on the predicted pose, determine an updated pose associated with the HMD subsequent to generating the pre-rendered image, generate an updated image based on the updated pose and the pre-rendered image, and display the updated image on the HMD. The updated image may be generated via a homographic transformation and/or a pixel offset adjustment of the pre-rendered image by circuitry within the display.

摘要翻译： 描述了以大于渲染帧速率的帧速率在增强现实环境内生成和显示与一个或多个虚拟对象相关联的图像的方法。 渲染帧速率可以对应于呈现与头戴式显示设备（HMD）的姿势相关联的图像的最小时间。 在一些实施例中，HMD可以确定与HMD的未来位置和取向相关联的预测姿态，基于预测姿态生成预渲染图像，在生成预渲染图像之后确定与HMD相关联的更新姿态 基于更新的姿势和预先呈现的图像生成更新的图像，并且在HMD上显示更新的图像。 更新的图像可以通过显示器内的电路的预处理图像的单色变换和/或像素偏移调整来生成。

公开(公告)号：US20130139072A1

公开(公告)日：2013-05-30

申请号：US13305333

申请日：2011-11-28

申请人： Akhilesh Kaza ,  Ashraf Ayman Michail ,  Paul Lawrence Bleisch ,  Istvan Cseri ,  Alan Chun Tung Liu

发明人： Akhilesh Kaza ,  Ashraf Ayman Michail ,  Paul Lawrence Bleisch ,  Istvan Cseri ,  Alan Chun Tung Liu

IPC分类号： G06F3/01 ,  G06F3/048

CPC分类号： G06F8/38 ,  G06F9/45508

摘要： The present invention extends to methods, systems, and computer program products for enabling the development and execution of applications that employ a composited application model. A composited application includes components that are to be executed in different runtimes. Accordingly, an application developer can leverage different runtimes within a single application. A managing runtime is used to manage the various runtimes used by a composited application. The managing runtime performs input redirection to route user input to the appropriate runtime and output compositing to composite each runtime's user interface components into a single seamless scene.

摘要翻译： 本发明扩展到方法，系统和计算机程序产品，用于实现使用合成应用模型的应用的开发和执行。 复合应用程序包括要在不同运行时执行的组件。 因此，应用程序开发人员可以在单个应用程序中利用不同的运行时。 管理运行时用于管理合成应用程序使用的各种运行时。 管理运行时执行输入重定向以将用户输入路由到适当的运行时间并输出合成，以将每个运行时的用户界面组件复合到单个无缝场景中。

公开(公告)号：US20170374341A1

公开(公告)日：2017-12-28

申请号：US15190085

申请日：2016-06-22

申请人： Ashraf Ayman Michail ,  Georg Klein ,  Andrew Martin Pearson ,  Zsolt Mathe ,  Mark S. Grossman ,  Ning Xu

发明人： Ashraf Ayman Michail ,  Georg Klein ,  Andrew Martin Pearson ,  Zsolt Mathe ,  Mark S. Grossman ,  Ning Xu

IPC分类号： H04N13/00 ,  G06T19/00 ,  G06T19/20 ,  H04N13/04 ,  G06T3/60

CPC分类号： H04N13/128 ,  G06F3/012 ,  G06T3/60 ,  G06T15/06 ,  G06T19/00 ,  G06T19/006 ,  G06T19/20 ,  G06T2219/2016 ,  H04N13/111 ,  H04N13/324 ,  H04N13/332 ,  H04N13/366

摘要： Examples are disclosed that relate to depth-aware late-stage reprojection. One example provides a computing system configured to receive and store image data, receive a depth map for the image data, processing the depth map to obtain a blurred depth map, and based upon motion data, determine a translation to be made to the image data. Further, for each pixel, the computing system is configured to translate an original ray extending from an original virtual camera location to an original frame buffer location to a reprojected ray extending from a translated camera location to a reprojected frame buffer location, determine a location at which the reprojected ray intersects the blurred depth map, and sample a color of a pixel for display based upon a color corresponding to the location at which the reprojected ray intersects the blurred depth map.

公开(公告)号：US20140176591A1

公开(公告)日：2014-06-26

申请号：US13727040

申请日：2012-12-26

申请人： Georg Klein ,  Ashraf Ayman Michail ,  Timothy R. Osborne ,  Tuan Wong ,  Douglas Kevin Service ,  Sujeet Mehta ,  Bruno Silva ,  Arthur C. Tomlin

发明人： Georg Klein ,  Ashraf Ayman Michail ,  Timothy R. Osborne ,  Tuan Wong ,  Douglas Kevin Service ,  Sujeet Mehta ,  Bruno Silva ,  Arthur C. Tomlin

IPC分类号： G09G5/02

CPC分类号： G09G5/026 ,  G02B27/017 ,  G02B2027/0112 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G09G3/003 ,  G09G5/00 ,  G09G2310/0235 ,  G09G2320/0242 ,  G09G2320/0261

摘要： A system and method are disclosed for fusing virtual content with real content to provide a mixed reality experience for one or more users. The system includes a mobile display device communicating with a hub computing system. In examples, the mobile display device includes a color sequential display for displaying an image over a number of color channels. Image data on respective color channels may be adjusted based on a predicted position of the mobile display device at a time the sequential color display projects the image.

摘要翻译： 公开了将虚拟内容与实际内容融合以提供一个或多个用户的混合现实体验的系统和方法。 该系统包括与集线器计算系统通信的移动显示设备。 在示例中，移动显示设备包括用于在多个颜色通道上显示图像的颜色顺序显示。 可以基于在顺序彩色显示投影图像时移动显示装置的预测位置来调整各颜色通道上的图像数据。

公开(公告)号：US20170061693A1

公开(公告)日：2017-03-02

申请号：US14843709

申请日：2015-09-02

申请人： Jeffrey Kohler ,  Denis Demandolx ,  Will Guyman ,  Ashraf Ayman Michail ,  Minshik Park ,  Justin Nafziger ,  Eric Richards

发明人： Jeffrey Kohler ,  Denis Demandolx ,  Will Guyman ,  Ashraf Ayman Michail ,  Minshik Park ,  Justin Nafziger ,  Eric Richards

IPC分类号： G06T19/00

CPC分类号： G06T19/006 ,  G06F3/011 ,  G06F3/012 ,  G06T19/00

摘要： A two-dimensional augmentation image is rendered from a three-dimensional model from a first virtual perspective. A transformation is applied to the augmentation image to yield an updated two-dimensional augmentation image that approximates a second virtual perspective of the three-dimensional model without additional rendering from the three-dimensional model.

摘要翻译： 从第一虚拟角度，从三维模型呈现二维增强图像。 将变换应用于增强图像以产生近似三维模型的第二虚拟透视图的更新的二维增强图像，而不需要来自三维模型的附加渲染。

公开(公告)号：US20150310665A1

公开(公告)日：2015-10-29

申请号：US14264534

申请日：2014-04-29

申请人： Ashraf Ayman Michail ,  Roger Sebastian Kevin Sylvan ,  Quentin Simon Charles Miller ,  Alex Aben-Athar Kipman

发明人： Ashraf Ayman Michail ,  Roger Sebastian Kevin Sylvan ,  Quentin Simon Charles Miller ,  Alex Aben-Athar Kipman

IPC分类号： G06T19/00 ,  G06T7/00 ,  G02B27/00 ,  G02B27/01 ,  G06T19/20

CPC分类号： G06T19/006 ,  G02B27/0093 ,  G02B27/0172 ,  G02B27/0179 ,  G02B2027/0134 ,  G02B2027/014 ,  G02B2027/0178 ,  G02B2027/0187 ,  G06F3/011 ,  G06F3/013 ,  G06F3/0346 ,  G06F3/147 ,  G06K9/00604 ,  G06K9/00671 ,  G06T7/536 ,  G06T19/20 ,  G06T2207/20228 ,  G06T2207/30201 ,  G09G3/3266 ,  G09G5/346 ,  G09G2310/0235 ,  G09G2320/0261 ,  G09G2320/106

摘要： Embodiments are described herein for determining a stabilization plane to reduce errors that occur when a homographic transformation is applied to a scene including 3D geometry and/or multiple non-coplanar planes. Such embodiments can be used, e.g., when displaying an image on a head mounted display (HMD) device, but are not limited thereto. In an embodiment, a rendered image is generated, a gaze location of a user is determined, and a stabilization plane, associated with a homographic transformation, is determined based on the determined gaze location. This can involve determining, based on the user's gaze location, variables of the homographic transformation that define the stabilization plane. The homographic transformation is applied to the rendered image to thereby generate an updated image, and at least a portion of the updated image is then displayed.

摘要翻译： 本文描述了用于确定稳定平面以减少当将单色变换应用于包括3D几何和/或多个非共面的场景的场景时发生的误差的实施例。 这样的实施例可以用于例如在头戴式显示器（HMD）装置上显示图像时，但不限于此。 在一个实施例中，生成渲染图像，确定用户的注视位置，并且基于所确定的凝视位置来确定与同形变换相关联的稳定平面。 这可以涉及基于用户的注视位置确定定义稳定平面的同形变换的变量。 将同形变换应用于渲染图像，从而生成更新的图像，然后显示更新的图像的至少一部分。