公开(公告)号：US07379060B2

公开(公告)日：2008-05-27

申请号：US11368591

申请日：2006-03-07

申请人： Toshihiro Kobayashi ,  Toshikazu Ohshima

发明人： Toshihiro Kobayashi ,  Toshikazu Ohshima

IPC分类号： G06T15/00

CPC分类号： G06T15/04

摘要： An image processing method includes a position/orientation acquisition step of acquiring a position and orientation of a viewpoint, a virtual image creation step of creating a virtual image on the basis of the position and orientation of the viewpoint, and a holding step of holding an environment mapping image. In addition, an image extraction step extracts a mapping image area rotated according to a viewpoint rotation component about an axis in a line-of-sight direction from the environment mapping image on the basis of the line-of-sight direction of the viewpoint and the viewpoint rotation component about the axis in the line-of sight direction, and an environment mapping step executes environment mapping processing for the virtual image created in the virtual image creation step by using an image included in the mapping image area extracted in the image extraction step.

摘要翻译： 一种图像处理方法包括获取视点的位置和取向的位置/姿势获取步骤，基于视点的位置和取向创建虚拟图像的虚拟图像创建步骤，以及保持步骤 环境映射图像。 此外，图像提取步骤基于视点的视线方向，从环境映射图像中提取根据视线方向的轴的视点旋转分量旋转的映射图像区域，以及 围绕视线方向的轴的视点旋转分量和环境映射步骤通过使用包括在图像中提取的映射图像区域中的图像来执行虚拟图像创建步骤中创建的虚拟图像的环境映射处理 提取步骤。

公开(公告)号：US20070236510A1

公开(公告)日：2007-10-11

申请号：US11693881

申请日：2007-03-30

申请人： Hiroyuki Kakuta ,  Toshikazu Ohshima

发明人： Hiroyuki Kakuta ,  Toshikazu Ohshima

IPC分类号： G09G5/00

CPC分类号： G06T11/001 ,  G06T11/00 ,  G06T19/006

摘要： An acquired real image undergoes conversion based on a first parameter to generate an image corresponding to a designated characteristic. A virtual image is generated on the basis of a second parameter to generate an image corresponding to a designated characteristic. The converted real image is composited with the generated virtual image. The composite image is displayed.

摘要翻译： 获取的真实图像经历基于第一参数的转换以产生对应于指定特征的图像。 基于第二参数生成虚拟图像，以生成与指定特征相对应的图像。 转换的真实图像与生成的虚拟图像合成。 显示合成图像。

公开(公告)号：US07212687B2

公开(公告)日：2007-05-01

申请号：US10397514

申请日：2003-03-27

申请人： Toshikazu Ohshima

发明人： Toshikazu Ohshima

IPC分类号： G06K9/20 ,  G06K9/36 ,  H04N1/46

CPC分类号： G06T19/006 ,  H04N5/272 ,  H04N5/2723 ,  H04N9/75

摘要： When a CG object is overlapped onto a photographed real scenery image as a background and an image of a photographed real photographic subject is synthesized in front of the overlapped image, an image in which the photographed real background and the photographic subject are imaged simultaneously without imaging the photographed real background and the photographic subject independently, is synthesized with CG. A photographed real image including a specific image is acquired, and area information representing an area of the specific image from the photographed real image, and an area other than the area of the specific image of the photographed real image is synthesized with a computer graphics image using the area information so detected.

摘要翻译： 当CG对象重叠在拍摄的真实风景图像上作为背景，并且在重叠图像之前合成拍摄的真实拍摄对象的图像时，拍摄的真实背景和拍摄对象同时成像的图像而不成像 独立拍摄的真实背景和摄影作品与CG合成。 获取包括特定图像的拍摄真实图像，并且利用计算机图形图像合成表示来自拍摄的实际图像的特定图像的区域的区域信息和除了拍摄的实际图像的特定图像的区域之外的区域 使用如此检测到的区域信息。

公开(公告)号：US20050174361A1

公开(公告)日：2005-08-11

申请号：US11044555

申请日：2005-01-28

申请人： Toshihiro Kobayashi ,  Toshikazu Ohshima ,  Masahiro Suzuki

发明人： Toshihiro Kobayashi ,  Toshikazu Ohshima ,  Masahiro Suzuki

IPC分类号： G01B21/00 ,  G01B21/22 ,  G02B27/00 ,  G02B27/01 ,  G06F3/01 ,  G06F3/033 ,  G06K9/00

CPC分类号： G06F3/012 ,  G02B27/017 ,  G02B2027/0138 ,  G02B2027/014 ,  G02B2027/0187 ,  G06F3/0346 ,  G06F3/03545

摘要： In step S1030, the position and orientation of a stylus operated by the user on the physical space are calculated, and it is detected if the stylus is located on the surface of a real object on the physical space. In step S1040, a virtual index is laid out at the position on the virtual space, which corresponds to the position calculated upon detection. In step S1060, an image of the virtual space including the laid-out virtual index is superimposed on the physical space.

摘要翻译： 在步骤S1030中，计算由用户在物理空间上操作的触控笔的位置和方位，并且检测出触针是否位于物理空间上的真实物体的表面上。 在步骤S1040中，虚拟索引被布置在虚拟空间上的与检测时计算出的位置对应的位置上。 在步骤S1060中，将包括布置的虚拟索引的虚拟空间的图像叠加在物理空间上。

公开(公告)号：US20050123171A1

公开(公告)日：2005-06-09

申请号：US11002074

申请日：2004-12-03

申请人： Toshihiro Kobayashi ,  Toshikazu Ohshima

发明人： Toshihiro Kobayashi ,  Toshikazu Ohshima

IPC分类号： G06F3/00 ,  G06F3/01 ,  G06K9/00 ,  G06T7/00

CPC分类号： G06F3/011 ,  G06T7/74 ,  G06T19/006

摘要： In exhibition of a synthesized image which is obtained by synthesizing a virtual world image with a real world image observed from a viewpoint position and direction of a user, data representing a position and orientation of a user is acquired, a virtual image is generated based on the data representing the position and orientation of the user, and the virtual image is synthesized with a real image corresponding to the position and orientation of the user. Based on a measurable area of the position and orientation of the user, area data is set. Based on the data representing the position of the user and the area data, notification related to the measurable area is controlled.

摘要翻译： 在通过将虚拟世界图像与从用户的视点位置和方向观察到的真实世界图像合成而获得的合成图像的展示中，获取表示用户的位置和方位的数据，基于 表示用户的位置和方向的数据和虚拟图像是用与用户的位置和方向对应的实际图像合成的。 基于用户的位置和方向的可测量区域，设置区域数据。 基于表示用户的位置的数据和区域数据，控制与可测量区域相关的通知。

公开(公告)号：US20050104882A1

公开(公告)日：2005-05-19

申请号：US10981563

申请日：2004-11-05

申请人： Toshihiro Kobayashi ,  Toshikazu Ohshima

发明人： Toshihiro Kobayashi ,  Toshikazu Ohshima

IPC分类号： G09G5/377 ,  G06T15/40

CPC分类号： G06T19/006

摘要： A set of objects to be rendered by an identical rendering method is specified from objects which form a virtual space. A hierarchical structure formed by the object included in the specified set is generated (step S206). The objects included in the specified set are rendered by the rendering method common to the objects included in this set in accordance with the generated hierarchical structure (S207-S209).

摘要翻译： 由形成虚拟空间的对象指定要由相同呈现方法呈现的一组对象。 生成由指定集合中包含的对象形成的层次结构（步骤S206）。 包含在指定集合中的对象根据所生成的分层结构（S 207 -S 209），由包含在该集合中的对象的共享渲染方法呈现。

公开(公告)号：US06853935B2

公开(公告)日：2005-02-08

申请号：US09818600

申请日：2001-03-28

申请人： Kiyohide Satoh ,  Mahoro Anabuki ,  Toshikazu Ohshima ,  Shinji Uchiyama ,  Kazuki Takemoto

发明人： Kiyohide Satoh ,  Mahoro Anabuki ,  Toshikazu Ohshima ,  Shinji Uchiyama ,  Kazuki Takemoto

IPC分类号： A63B67/04 ,  A63F13/812 ,  G01B7/00 ,  G01B7/30 ,  G01B11/00 ,  G06F3/01 ,  G06F3/033 ,  G06F3/0346 ,  G06F3/038 ,  G06T7/60 ,  G06T19/00 ,  G01C17/38

CPC分类号： G06T15/10 ,  A63F13/00 ,  A63F13/211 ,  A63F13/807 ,  A63F2300/105 ,  A63F2300/1093 ,  A63F2300/30 ,  A63F2300/69 ,  A63F2300/8082

摘要： A view transformation matrix that represents the position/attitude of an HMD is generated based on a signal that represents the position/attitude of the HMD (S602). On the other hand, landmarks and their locations are detected based on a captured picture (S604) and a calibration matrix ΔMc is generated using the detected locations of the landmarks (S605). The position/attitude of the HMD is calibrated using the view transformation matrix and calibration matrix ΔMc generated by the above processes (S606), a picture of a virtual object is generated based on external parameters that represent the position/attitude of the calibrated HMD, and a mixed reality picture is generated (S607). The generated mixed reality picture is displayed in the display section (S609).

摘要翻译： 基于表示HMD的位置/姿态的信号，生成表示HMD的位置/姿势的视角变换矩阵（S602）。 另一方面，基于拍摄图像检测地标及其位置（S604），并且使用检测到的地标的位置生成校准矩阵DeltaMc（S605）。 使用由上述处理生成的视角变换矩阵和校准矩阵DeltaMc校正HMD的位置/姿态（S606），基于表示校准HMD的位置/姿态的外部参数生成虚拟对象的图像， 并生成混合现实画面（S607）。 生成的混合现实图像显示在显示部分（S609）中。

公开(公告)号：US08184907B2

公开(公告)日：2012-05-22

申请号：US13208215

申请日：2011-08-11

申请人： Koichiro Wanda ,  Toshikazu Ohshima

发明人： Koichiro Wanda ,  Toshikazu Ohshima

IPC分类号： G06K9/00

CPC分类号： G06T15/503 ,  G06T11/00 ,  G06T2200/24

摘要： A CG image having a transparency parameter is superimposed on a shot image, which is an image picked up by an image-pickup device, to obtain a combined image. The combined image is displayed in a combined-image-display region. In the combined image, a mask region of the CG image is set based on parameter information used to extract a region of a hand. The transparency parameter of the CG image is set based on a ratio of the size of the region of the CG image excluding the mask region to the size of the shot image. By checking the combined image, which is displayed in the combined-image-display region, the user can set the parameter information by a simple operation.

摘要翻译： 具有透明度参数的CG图像被叠加在作为由图像拾取装置拾取的图像的拍摄图像上，以获得组合图像。 组合图像显示在组合图像显示区域中。 在组合图像中，基于用于提取手的区域的参数信息来设置CG图像的掩模区域。 CG图像的透明度参数是基于除了掩模区域之外的CG图像的区域的大小与拍摄图像的尺寸的比率来设定的。 通过检查在组合图像显示区域中显示的组合图像，用户可以通过简单的操作来设置参数信息。

公开(公告)号：US08019176B2

公开(公告)日：2011-09-13

申请号：US12117560

申请日：2008-05-08

申请人： Koichiro Wanda ,  Toshikazu Ohshima

发明人： Koichiro Wanda ,  Toshikazu Ohshima

IPC分类号： G06K9/00

CPC分类号： G06T15/503 ,  G06T11/00 ,  G06T2200/24

摘要： A CG image having a transparency parameter is superimposed on a shot image, which is an image picked up by an image-pickup device, to obtain a combined image. The combined image is displayed in a combined-image-display region. In the combined image, a mask region of the CG image is set based on parameter information used to extract a region of a hand. The transparency parameter of the CG image is set based on a ratio of the size of the region of the CG image excluding the mask region to the size of the shot image. By checking the combined image, which is displayed in the combined-image-display region, the user can set the parameter information by a simple operation.

摘要翻译： 具有透明度参数的CG图像被叠加在作为由图像拾取装置拾取的图像的拍摄图像上，以获得组合图像。 组合图像显示在组合图像显示区域中。 在组合图像中，基于用于提取手的区域的参数信息来设置CG图像的掩模区域。 CG图像的透明度参数是基于除了掩模区域之外的CG图像的区域的大小与拍摄图像的尺寸的比率来设定的。 通过检查在组合图像显示区域中显示的组合图像，用户可以通过简单的操作来设置参数信息。

公开(公告)号：US07808450B2

公开(公告)日：2010-10-05

申请号：US11400000

申请日：2006-04-07

申请人： Koichiro Wanda ,  Toshikazu Ohshima

发明人： Koichiro Wanda ,  Toshikazu Ohshima

IPC分类号： G09G5/00

CPC分类号： G06T19/006 ,  A63F13/10 ,  A63F13/213 ,  A63F13/52 ,  A63F13/65 ,  A63F2300/1087 ,  A63F2300/6692 ,  A63F2300/69 ,  A63F2300/8023 ,  G06F3/011 ,  G06T15/20

摘要： When a plurality of mixed reality (MR) experiencing persons experience the same mixed reality, there is a possibility that the experiencing persons come into contact with one another. An image processing apparatus capable of reporting to the MR experiencing persons that there is a possibility of contact. Therefore, a real space image that is image captured from the position and orientation of a user's viewpoint is drawn. The position and orientation of the user's viewpoint at this time is detected by a sensor unit. It is determined whether or not the viewpoint position is smaller than or equal to an attention distance at which there is a possibility of contact. If the viewpoint position is smaller than or equal to the attention distance, an attention display for this fact is performed.

摘要翻译： 当遇到人的多个混合现实（MR）经历相同的混合现实时，有可能体验者彼此接触。 一种图像处理装置，能够向MR报告遇到有可能接触的人。 因此，绘制从用户的视点的位置和方向获取的图像的实际空间图像。 此时用户视点的位置和方向由传感器单元检测。 确定视点位置是否小于或等于有可能接触的注意距离。 如果视点位置小于或等于注意距离，则执行该事实的关注显示。