公开(公告)号：US20050179617A1

公开(公告)日：2005-08-18

申请号：US10951684

申请日：2004-09-29

申请人： Taichi Matsui ,  Masahiro Suzuki

发明人： Taichi Matsui ,  Masahiro Suzuki

IPC分类号： G06T19/00 ,  G06T7/00 ,  G06T17/00 ,  H04N13/00 ,  G09G5/00

CPC分类号： G06T19/006 ,  G06T7/30 ,  H04N13/239 ,  H04N13/279 ,  H04N13/344

摘要： A mixed reality space image generation apparatus for generating a mixed reality space image formed by superimposing virtual space images onto a real space image obtained by capturing a real space, includes an image composition unit (109) which superimposes a virtual space image, which is to be displayed in consideration of occlusion by an object on the real space of the virtual space images, onto the real space image, and an annotation generation unit (108) which further imposes an image to be displayed without considering any occlusion of the virtual space images. In this way, a mixed reality space image which can achieve both natural display and convenient display can be generated.

摘要翻译： 一种混合现实空间图像生成装置，用于生成通过将虚拟空间图像叠加到通过捕获实际空间而获得的实际空间图像中形成的混合现实空间图像，所述混合现实空间图像包括将虚拟空间图像叠加的图像合成单元（109） 考虑到虚拟空间图像的真实空间上的对象的遮挡，到真实空间图像上的显示，以及注释生成单元（108），其进一步强制要显示的图像而不考虑虚拟空间图像的任何遮挡 。 以这种方式，可以产生可实现自然显示和方便显示的混合现实空间图像。

公开(公告)号：US07589747B2

公开(公告)日：2009-09-15

申请号：US10951684

申请日：2004-09-29

申请人： Taichi Matsui ,  Masahiro Suzuki

发明人： Taichi Matsui ,  Masahiro Suzuki

IPC分类号： G09G5/00

CPC分类号： G06T19/006 ,  G06T7/30 ,  H04N13/239 ,  H04N13/279 ,  H04N13/344

摘要： A mixed reality space image generation method for generating a mixed reality space image formed by superimposing a virtual space image onto a real space image obtained by capturing a real space, includes a first image superimposing step of superimposing a first virtual space image onto a real space image based on an occlusion by a real object, wherein the first virtual space image is an outer appearance of the real object, and obtaining information of location and orientation of the real object. In addition, a second virtual image is set based on the information of location and orientation of the real object, and a second image superimposing step superimposes the second virtual space image onto the superimposed image generated in the first image superimposing step without considering the occlusion, wherein the second virtual space image is an annotation associated with the real object.

摘要翻译： 一种混合现实空间图像生成方法，用于生成通过将虚拟空间图像叠加到通过捕获真实空间而获得的实际空间图像上形成的混合现实空间图像，包括：第一图像叠加步骤，将第一虚拟空间图像叠加到实际空间 基于真实对象的遮挡的图像，其中所述第一虚拟空间图像是所述真实对象的外观，以及获得所述真实对象的位置和取向的信息。 此外，基于真实对象的位置和取向的信息来设置第二虚拟图像，并且第二图像叠加步骤将第二虚拟空间图像叠加到在第一图像叠加步骤中生成的叠加图像上而不考虑遮挡， 其中所述第二虚拟空间图像是与所述真实对象相关联的注释。

公开(公告)号：US08350897B2

公开(公告)日：2013-01-08

申请号：US11909236

申请日：2006-04-19

申请人： Takaaki Endo ,  Taichi Matsui ,  Hideo Noro

发明人： Takaaki Endo ,  Taichi Matsui ,  Hideo Noro

IPC分类号： H04N9/47

CPC分类号： G06F3/012 ,  B33Y80/00 ,  G06F3/011 ,  G06T7/73 ,  G06T19/006

摘要： The position and orientation of the viewpoint of the observer are acquired (2030), the moving amount of a movable part is acquired (2032), a movable part of a virtual object is moved based on the moving amount of the movable part of a physical object, and an image which is observed from the viewpoint of the observer is generated (2040).

摘要翻译： 获取观察者的视点的位置和方向（2030），获取可移动部分的移动量（2032），虚拟对象的可移动部分基于物理的可移动部分的移动量而移动 生成从观察者的观点观察到的图像（2040）。

公开(公告)号：US07292240B2

公开(公告)日：2007-11-06

申请号：US11217511

申请日：2005-09-01

申请人： Yasuhiro Okuno ,  Taichi Matsui

发明人： Yasuhiro Okuno ,  Taichi Matsui

IPC分类号： G06T15/00

CPC分类号： G06F3/04815 ,  G06T15/20 ,  G06T19/006

摘要： An actual-size observation mode in which an observer performs observation by being immersed in a virtual three-dimensional space in an actual size and a reduced-size observation mode in which the observer performs observation by reducing a virtual three-dimensional space computer graphics image are provided. A virtual reality presentation device includes an observation mode setting unit for setting, as an observation mode, the actual-size observation mode or the reduced-size observation mode; a position and orientation information acquisition unit for acquiring position and orientation information of the observer; and a generation unit for generating a computer graphics image from computer graphics data representing the virtual three-dimensional space in accordance with the set observation mode and the position and orientation information.

摘要翻译： 实际尺寸观察模式，其中观察者通过浸入在实际尺寸的虚拟三维空间中进行观察，并且观察者通过减少虚拟三维空间计算机图形图像观察者执行观察的缩小尺寸观察模式 被提供。 虚拟现实呈现装置包括：观察模式设定单元，用于设置实际尺寸观察模式或缩小尺寸观察模式作为观察模式; 位置和姿势信息获取单元，用于获取观察者的位置和方向信息; 以及生成单元，用于根据设置的观察模式和位置​​和取向信息从表示虚拟三维空间的计算机图形数据生成计算机图形图像。

公开(公告)号：US20060256110A1

公开(公告)日：2006-11-16

申请号：US11429543

申请日：2006-05-05

申请人： Yasuhiro Okuno ,  Hideo Noro ,  Taichi Matsui

发明人： Yasuhiro Okuno ,  Hideo Noro ,  Taichi Matsui

IPC分类号： G06T15/00

CPC分类号： G06F3/012 ,  G06F3/017 ,  G06F3/0346 ,  Y10S345/958

摘要： A virtual reality presentation apparatus (100) has a CPU (101) which controls the overall apparatus, a memory (103) which stores various programs, a memory (104) which stores various data, an HMD (105) as a video display device, and a position and orientation controller (106) having position and orientation sensors (107, 108, 109), which are connected to each other via a bus (102). After a position and orientation required to render a CG scene for one frame are determined, when CG objects are in an interference state immediately before this processing and the difference between the current time and an interference time (128) set upon determining the interference state does not exceed an interference detection skip time (124), CG image generation means (112) generates a CG scene for one frame based on the determined position and orientation without checking if an interference has occurred between the CG objects.

摘要翻译： 虚拟现实呈现装置（100）具有控制整个装置的CPU（101），存储各种程序的存储器（103），存储各种数据的存储器（104），HMD（105）作为视频显示装置 ，以及具有经由总线（102）彼此连接的位置和方位传感器（107,108,109）的位置和方位控制器（106）。 在确定用于渲染一帧的CG场景所需的位置和取向之后，当CG对象在该处理之前处于干扰状态时，以及在确定干扰状态之后设置的当前时间与干扰时间（128）之间的差异 不超过干扰检测跳过时间（124），CG图像生成装置（112）基于所确定的位置和取向生成一帧的CG场景，而不检查CG对象之间是否发生干扰。

公开(公告)号：US20060050069A1

公开(公告)日：2006-03-09

申请号：US11217511

申请日：2005-09-01

申请人： Yasuhiro Okuno ,  Taichi Matsui

发明人： Yasuhiro Okuno ,  Taichi Matsui

IPC分类号： G06T15/00

CPC分类号： G06F3/04815 ,  G06T15/20 ,  G06T19/006

摘要： An actual-size observation mode in which an observer performs observation by being immersed in a virtual three-dimensional space in an actual size and a reduced-size observation mode in which the observer performs observation by reducing a virtual three-dimensional space computer graphics image are provided. A virtual reality presentation device includes an observation mode setting unit for setting, as an observation mode, the actual-size observation mode or the reduced-size observation mode; a position and orientation information acquisition unit for acquiring position and orientation information of the observer; and a generation unit for generating a computer graphics image from computer graphics data representing the virtual three-dimensional space in accordance with the set observation mode and the position and orientation information.

摘要翻译： 实际尺寸观察模式，其中观察者通过浸入在实际尺寸的虚拟三维空间中进行观察，并且观察者通过减少虚拟三维空间计算机图形图像观察者执行观察的缩小尺寸观察模式 被提供。 虚拟现实呈现装置包括：观察模式设定单元，用于设置实际尺寸观察模式或缩小尺寸观察模式作为观察模式; 位置和姿势信息获取单元，用于获取观察者的位置和方向信息; 以及生成单元，用于根据设置的观察模式和位置​​和取向信息从表示虚拟三维空间的计算机图形数据生成计算机图形图像。

公开(公告)号：US06822643B2

公开(公告)日：2004-11-23

申请号：US09986915

申请日：2001-11-13

申请人： Taichi Matsui ,  Yasuhiro Okuno ,  Kenji Morita

发明人： Taichi Matsui ,  Yasuhiro Okuno ,  Kenji Morita

IPC分类号： G09G500

CPC分类号： G06F3/012 ,  G06F3/011 ,  G06F3/0304

摘要： An image-display control apparatus includes a detection unit for detecting a predetermined object from a photographed image, a position calculation unit for obtaining a positional relationship between the predetermined object in the photographed image detected by the detection unit and an object in a virtual image, an image removing unit for removing a predetermined partial image in the object in the virtual image by referring to a result of calculation of the position calculation unit, a synthesis unit for synthesizing the virtual image and the photographed image so that the predetermined object in the photographed image is present at a position of the partial image in the virtual image removed by the image removing unit, and a display control unit for displaying an image obtained as a result of synthesis of the synthesis unit on a display device.

摘要翻译： 图像显示控制装置包括：检测单元，用于从拍摄图像中检测预定对象;位置计算单元，用于获得由检测单元检测到的拍摄图像中的预定对象与虚拟图像中的对象之间的位置关系; 图像去除单元，用于通过参考位置计算单元的计算结果去除虚拟图像中的物体中的预定部分图像，合成单元，用于合成虚像和拍摄图像，使得拍摄中的预定对象 图像存在于由图像去除单元去除的虚拟图像中的部分图像的位置，以及显示控制单元，用于在显示装置上显示作为合成单元的合成结果而获得的图像。

公开(公告)号：US20080030461A1

公开(公告)日：2008-02-07

申请号：US11830356

申请日：2007-07-30

申请人： Taichi Matsui ,  Yasuhiro Okuno

发明人： Taichi Matsui ,  Yasuhiro Okuno

IPC分类号： G09G5/00

CPC分类号： G06F3/011 ,  G06F3/03542 ,  G06T7/73

摘要： The pointing position of a pointing device is measured based on position and orientation information of the pointing device. The pointing position is measured based on the pointing position in a sensed image obtained by sensing the pointing position of the pointing device by an image sensing device, and position and orientation information of the image sensing device. A real pointing position of the pointing device is measured based on these measurement results. A virtual pointing device which points to a virtual image to be combined with a real image is generated using the same reference as that used to measure the real pointing position. A virtual pointing position of the virtual pointing device is measured.

摘要翻译： 基于指示装置的位置和方向信息测量指示装置的指向位置。 基于通过感测图像感测装置指示装置的指示位置获得的感测图像中的指示位置以及图像感测装置的位置和方位信息来测量指向位置。 基于这些测量结果测量指示设备的实际指向位置。 使用与用于测量实际指向位置相同的参考生成指向要与真实图像组合的虚拟图像的虚拟指点设备。 测量虚拟指点设备的虚拟指向位置。

公开(公告)号：US20060221098A1

公开(公告)日：2006-10-05

申请号：US11390437

申请日：2006-03-28

申请人： Taichi Matsui ,  Yasuo Katano

发明人： Taichi Matsui ,  Yasuo Katano

IPC分类号： G09G5/00

CPC分类号： G06T7/74 ,  G06T7/80 ,  G06T2207/20092

摘要： An instruction is detected which indicates that a physical object having a fixed plane where the physical object can be moved, and a virtual object rendered so as to be positioned on the plane where the physical object can be moved, are observed as being in a predetermined positional relationship. Then, a difference between a position and orientation value of the virtual object and a position and orientation value of the physical object is acquired at the time when the instruction is detected, so that the difference is used as a correction value to correct the positional difference between the physical object and the virtual object.

摘要翻译： 检测出指示物理对象能够被移动的具有固定平面的物体以及被放置在能够移动物体的平面上的虚拟物体的指示为预定的 位置关系 然后，在检测到指示时获取虚拟物体的位置和姿态值与物体的位置和姿态值之间的差异，从而将该差值用作校正值以校正位置差异 物理对象和虚拟对象之间。

公开(公告)号：US20060050070A1

公开(公告)日：2006-03-09

申请号：US11217804

申请日：2005-09-01

申请人： Taichi Matsui

发明人： Taichi Matsui

IPC分类号： G06T15/00

CPC分类号： G06T19/006

摘要： An information processing method and an information processing apparatus for preventing a user from experiencing fear in a virtual environment due to the area surrounding their feet being invisible because of CG masking the real space are provided. The information processing method and apparatus acquire the position and posture of the user when generating an image of a virtual reality and combining the image of the virtual reality with an image of real space to present the combined image to the user. When the user is inside a virtual building, the information processing method and apparatus generate objects inside the virtual building and a transparent object and combine the generated objects with an image of real space. By displaying the combined image, the image of real space is displayed at the feet of the user.

摘要翻译： 提供了一种信息处理方法和信息处理设备，用于防止用户在虚拟环境中由于其围绕其周围的区域而不可见，因为CG掩盖了真实空间。 信息处理方法和装置在生成虚拟现实的图像时获取用户的位置和姿势，并将虚拟现实的图像与真实空间的图像相结合，以向用户呈现组合的图像。 当用户在虚拟建筑物内时，信息处理方法和设备在虚拟建筑物内部生成对象和透明对象，并将生成的对象与真实空间的图像组合。 通过显示组合图像，实时空间的图像显示在用户脚下。