公开(公告)号：US09378583B2

公开(公告)日：2016-06-28

申请号：US13064785

申请日：2011-04-14

申请人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Do Kyoon Kim

发明人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Do Kyoon Kim

IPC分类号： G06T15/20 ,  G06T7/00 ,  G06T5/00

CPC分类号： G06T15/205 ,  G06T5/005 ,  G06T7/11 ,  G06T7/194 ,  G06T2207/10024 ,  G06T2207/10028

摘要： An apparatus and method for bidirectionally inpainting an occlusion area appearing during generation of a virtual viewpoint image, using a foreground area and a background area based on a predicted volume are provided. The method includes receiving an input of a depth image and a color image, the depth image having depth information for a first viewpoint, and the color image having color information for the first viewpoint, generating a virtual viewpoint image at a second viewpoint based on the depth image and the color image, separating the virtual viewpoint image into a foreground area and a background area, based on the depth information and direction information regarding a direction from the first viewpoint to the second viewpoint, predicting a three-dimensional (3D) volume of the foreground area, and inpainting an occlusion area bidirectionally using the foreground area and the background area, based on the predicted 3D volume, the occlusion area being included in the virtual viewpoint image.

摘要翻译： 提供了使用基于预测体积的前景区域和背景区域来双向地绘制在虚拟视点图像生成期间出现的遮挡区域的装置和方法。 该方法包括接收深度图像和彩色图像的输入，深度图像具有用于第一视点的深度信息，以及具有用于第一视点的颜色信息的彩色图像，基于第二视点生成虚拟视点图像 基于从第一视点到第二视点的方向的深度信息和方向信息，将虚拟视点图像分离成前景区域和背景区域，预测三维（3D）体积 并且基于所预测的3D体积，使用所述前景区域和所述背景区域双向地修复遮挡区域，所述遮挡区域包括在所述虚拟视点图像中。

公开(公告)号：US08810632B2

公开(公告)日：2014-08-19

申请号：US12896499

申请日：2010-10-01

申请人： Chan Soo Hwang ,  Yoon Chae Cheong ,  Do Kyoon Kim ,  Kee Chang Lee ,  Ouk Choi

发明人： Chan Soo Hwang ,  Yoon Chae Cheong ,  Do Kyoon Kim ,  Kee Chang Lee ,  Ouk Choi

IPC分类号： H04N13/02 ,  H04N5/232 ,  H04N7/18 ,  G06F17/30

CPC分类号： H04N5/23203 ,  G06F17/30058 ,  H04N7/181 ,  H04N13/204 ,  H04N13/243 ,  H04N13/296

摘要： A communication network comprising a collaborative photography group including a plurality of cameras having synchronized photographing times, is provided. The plurality of cameras may share location information, direction angle information, and image information generated by photographing an object, and generate a three-dimensional (3D) image of the object.

摘要翻译： 提供了包括具有同步摄影时间的多个照相机的协同摄影组的通信网络。 多个相机可以共享位置信息，方向角度信息和通过拍摄对象而生成的图像信息，并且生成该对象的三维（3D）图像。

公开(公告)号：US08395824B2

公开(公告)日：2013-03-12

申请号：US12458600

申请日：2009-07-16

申请人： Sun Hyuck Chae ,  Do Kyoon Kim ,  Kee Chang Lee ,  Hwa Sup Lim ,  Anton Sergeevich Konushin ,  Olga Vyacheslavovna Barinova ,  Vadim Sergeevich Konushin ,  Anton Anatolyevich Yakubenko

发明人： Sun Hyuck Chae ,  Do Kyoon Kim ,  Kee Chang Lee ,  Hwa Sup Lim ,  Anton Sergeevich Konushin ,  Olga Vyacheslavovna Barinova ,  Vadim Sergeevich Konushin ,  Anton Anatolyevich Yakubenko

IPC分类号： G06K9/00

CPC分类号： G06K9/00704

摘要： A method of determining a ground line from an input image. The method includes determining a plurality of ground line candidates from the image, determining a certain band a central-line of which is a boundary between a G region and other regions in a Ground Building Sky (GBS) map of the image, and determining the ground line of the image by selecting a ground line candidate, among the plurality of ground line candidates, having the greatest extent crossing the certain band.

摘要翻译： 一种从输入图像确定接地线的方法。 该方法包括从图像中确定多个地线候选，确定其中心线是图像的地面建筑物天空（GBS）地图中的G区域和其它区域之间的边界的某个频带，并且确定 通过选择跨越该特定频带的最大程度的多个地线候选中的地线候选来选择图像的地线。

公开(公告)号：US20110254841A1

公开(公告)日：2011-10-20

申请号：US12926412

申请日：2010-11-16

申请人： Hwa Sup Lim ,  Yong Sun Kim ,  Seung Kyu Lee ,  Kee Chang Lee ,  Ouk Choi

发明人： Hwa Sup Lim ,  Yong Sun Kim ,  Seung Kyu Lee ,  Kee Chang Lee ,  Ouk Choi

IPC分类号： G06T15/40

CPC分类号： G06T17/20 ,  G06T5/005 ,  G06T2200/04 ,  G06T2200/08 ,  G06T2207/10024 ,  G06T2207/30224

摘要： Disclosed is a mesh generating apparatus, method and computer-readable medium, and an image processing apparatus, method and computer-readable medium. A single 3D mesh and a single 3D object model may be generated using a single color image and a single depth image. A plurality of viewpoint images seen from a plurality of viewpoints may be generated from a single 3D object model.

摘要翻译： 公开了一种网格生成装置，方法和计算机可读介质，以及图像处理装置，方法和计算机可读介质。 可以使用单个彩色图像和单个深度图像来生成单个3D网格和单个3D对象模型。 可以从单个3D对象模型生成从多个视点看到的多个视点图像。

公开(公告)号：US09641822B2

公开(公告)日：2017-05-02

申请号：US12379055

申请日：2009-02-11

申请人： Jae Young Sim ,  Do Kyoon Kim ,  Kee Chang Lee ,  Gael Guennebaud ,  Mario Botsch ,  Markus Gross ,  Robert Carnecky

发明人： Jae Young Sim ,  Do Kyoon Kim ,  Kee Chang Lee ,  Gael Guennebaud ,  Mario Botsch ,  Markus Gross ,  Robert Carnecky

IPC分类号： H04N5/228 ,  G06T15/00 ,  H04N13/00 ,  G06T17/00 ,  G06T15/04 ,  G06T15/06

CPC分类号： H04N13/111 ,  G06T17/00 ,  G06T17/005 ,  H04N13/10 ,  H04N2213/005

摘要： Provided is point-based efficient three-dimensional (3D) information representation from a color image that is obtained from a general Charge-Coupled Device (CCD)/Complementary Metal Oxide Semiconductor (CMOS) camera, and a depth image that is obtained from a depth camera. A 3D image processing method includes storing a depth image associated with an object as first data of a 3D data format, and storing a color image associated with the object as color image data of a 2D image format, independent of the first data.

公开(公告)号：US09412157B2

公开(公告)日：2016-08-09

申请号：US13067601

申请日：2011-06-13

申请人： Yong Sun Kim ,  Hwa Sup Lim ,  Kee Chang Lee

发明人： Yong Sun Kim ,  Hwa Sup Lim ,  Kee Chang Lee

IPC分类号： G06K9/38 ,  G06K9/40 ,  G06T5/20 ,  G06T5/00

CPC分类号： G06T5/20 ,  G06T5/001 ,  G06T5/002 ,  G06T5/003

摘要： Provided are an apparatus and a method for high speed filtering of an image for high precision that may include a coordinate determining unit to determine coordinates (P,Q) on a screen with respect to a first pixel to be filtered, a pixel determining unit to determine a second pixel with coordinates including either P or Q, a block setting unit to set a first block comprising the first pixel, and a second block comprising the second pixel, and a processing unit to filter the first pixel by comparing the first block and the second block.

摘要翻译： 提供了一种用于高精度图像的高速滤波的装置和方法，该装置和方法可以包括：坐标确定单元，用于确定屏幕上相对于要滤波的第一像素的坐标（P，Q）;像素确定单元， 确定包括P或Q的坐标的第二像素，用于设置包括第一像素的第一块的块设置单元和包括第二像素的第二块，以及处理单元，通过比较第一块和 第二块。

公开(公告)号：US20150036926A1

公开(公告)日：2015-02-05

申请号：US14361467

申请日：2012-11-29

申请人： Ouk Choi ,  Do Kyoon Kim ,  Kee Chang Lee

发明人： Ouk Choi ,  Do Kyoon Kim ,  Kee Chang Lee

IPC分类号： G06K9/62 ,  G06T7/40 ,  G06T7/00 ,  G06T5/00

CPC分类号： G06K9/6201 ,  G06K2009/4666 ,  G06T5/00 ,  G06T5/003 ,  G06T5/50 ,  G06T2207/10024 ,  G06T2207/10028 ,  G06T2207/20192

摘要： Provided are a method and an apparatus for image processing. A scene includes a low resolution depth image and a high resolution color image. A depth image up-scaler up-scales the depth image using an interpolation so as to improve the resolution of the depth image. A color-depth similarity based filter removes noise from the up-scaled depth image using the color image and the up-scaled depth image. A boundary sharpening filter converts a boundary between objects in the up-scaled depth image into a clearer boundary. The resolution of the depth image may increase to the level of the resolution of the color image by means of the depth image up-scaler, the color-depth similarity based filter and the boundary sharpening filter, and the depth of each pixel in the depth image may be adjusted.

摘要翻译： 提供了用于图像处理的方法和装置。 场景包括低分辨率深度图像和高分辨率彩色图像。 深度图像使用插值法进行上变换，以提高深度图像的分辨率。 基于颜色深度相似度的滤波器使用彩色图像和高比例的深度图像来从上调的深度图像中去除噪声。 边界锐化滤波器将扩大的深度图像中的对象之间的边界转换为更清晰的边界。 深度图像的分辨率可以通过深度图像上变换器，基于颜色深度相似性的滤波器和边界锐化滤波器以及深度中的每个像素的深度而增加到彩色图像的分辨率的水平 图像可能会被调整。

公开(公告)号：US20130002823A1

公开(公告)日：2013-01-03

申请号：US13446336

申请日：2012-04-13

申请人： Hwa Sup LIM ,  Kee Chang Lee ,  Seung Kyu Lee

发明人： Hwa Sup LIM ,  Kee Chang Lee ,  Seung Kyu Lee

IPC分类号： H04N15/00 ,  H04N5/33 ,  H04N13/02

CPC分类号： G01S7/481 ,  G01S7/4861 ,  G01S17/89 ,  H04N13/271

摘要： An image generating apparatus may include a first reflector and a second reflector. When a light emitter emits an infrared light, the infrared light may be reflected from a first reflector and be omni-directionally reflected. The reflected infrared light that is the infrared light reflected from the object may be reflected from a second reflector and be transferred to a sensor. The sensor may receive the reflected infrared light and generate a depth image of the object.

摘要翻译： 图像生成装置可以包括第一反射器和第二反射器。 当发光体发射红外光时，红外光可以从第一反射器反射并被全向反射。 作为从物体反射的红外线的反射红外光可以从第二反射体反射并被转印到传感器。 传感器可以接收反射的红外光并产生物体的深度图像。

公开(公告)号：US09210398B2

公开(公告)日：2015-12-08

申请号：US13088685

申请日：2011-04-18

申请人： Seung Kyu Lee ,  Hwa Sup Lim ,  Do Kyoon Kim ,  Kee Chang Lee

发明人： Seung Kyu Lee ,  Hwa Sup Lim ,  Do Kyoon Kim ,  Kee Chang Lee

IPC分类号： G06K9/00 ,  H04N13/00 ,  H04N13/02 ,  G06T3/40

CPC分类号： H04N13/128 ,  G06T3/4007 ,  H04N13/25 ,  H04N13/271

摘要： A method and apparatus for temporally interpolating a three-dimensional (3D) depth image are provided to generate an intermediate depth image in a desired time. The apparatus may interpolate depth images generated by a depth camera, using a temporal interpolation procedure, may generate an intermediate depth image in a new time using the interpolated depth images, and may combine the generated intermediate depth image with color images, to generate a high-precision 3D image.

摘要翻译： 提供了用于时间内插三维（3D）深度图像的方法和装置，以在期望的时间内生成中间深度图像。 该装置可以使用时间插值程序对由深度相机生成的深度图像进行内插，可以使用内插的深度图像在新的时间内生成中间深度图像，并且可以将生成的中间深度图像与彩色图像组合以产生高 精确3D图像。

公开(公告)号：US09105082B2

公开(公告)日：2015-08-11

申请号：US13137353

申请日：2011-08-08

申请人： Yong Sun Kim ,  Hwa Sup Lim ,  Kee Chang Lee

发明人： Yong Sun Kim ,  Hwa Sup Lim ,  Kee Chang Lee

IPC分类号： G06T5/00 ,  G06T5/20

CPC分类号： G06T5/002 ,  G06T5/20 ,  G06T2207/20012

摘要： A high speed filtering apparatus and a method for high precision restoration of a depth image are provided. The high speed filtering apparatus for high precision restoration of the depth image may include a block setting unit to set a first block including a target pixel, and to set a second block with respect to a central pixel distributed around the target pixel based on a size of the first block, a weight determining unit to determine a pixel weight with respect to each pixel in the second block, and to determine a block weight with respect to the second block by applying the pixel weight, and a processor to filter the target pixel based on the block weight, thereby accurately filtering the target pixel.

摘要翻译： 提供了高速滤波装置和深度图像的高精度恢复方法。 用于深度图像的高精度恢复的高速滤波装置可以包括块设置单元，用于设置包括目标像素的第一块，并且基于大小对目标像素周围分布的中心像素设置第二块 第一块的重量确定单元，用于确定相对于第二块中的每个像素的像素权重，并且通过应用像素权重来确定相对于第二块的块权重，以及处理器来过滤目标像素 基于块权重，从而精确地过滤目标像素。