公开(公告)号：US08744177B2

公开(公告)日：2014-06-03

申请号：US12314018

申请日：2008-12-02

申请人： Hwa Sup Lim ,  Do Kyoon Kim ,  Kee Chang Lee ,  Sun Hyuck Chae

发明人： Hwa Sup Lim ,  Do Kyoon Kim ,  Kee Chang Lee ,  Sun Hyuck Chae

IPC分类号： G06K9/00

CPC分类号： G06K9/00704 ,  G06K9/00697 ,  G06K9/4604 ,  G06K9/4652 ,  G06T7/12 ,  G06T7/143 ,  G06T2207/10024

摘要： Provided is a method of performing an image segmentation so as to extract a building region from an input color image. The method includes extracting a plurality of straight lines that pass through a vanishing point and determining the building region in the image based on color values around the plurality of straight lines.

摘要翻译： 提供了一种执行图像分割以便从输入彩色图像中提取建筑物区域的方法。 该方法包括提取通过消失点的多条直线，并基于多条直线周围的颜色值确定图像中的建筑物区域。

公开(公告)号：US08395824B2

公开(公告)日：2013-03-12

申请号：US12458600

申请日：2009-07-16

申请人： Sun Hyuck Chae ,  Do Kyoon Kim ,  Kee Chang Lee ,  Hwa Sup Lim ,  Anton Sergeevich Konushin ,  Olga Vyacheslavovna Barinova ,  Vadim Sergeevich Konushin ,  Anton Anatolyevich Yakubenko

发明人： Sun Hyuck Chae ,  Do Kyoon Kim ,  Kee Chang Lee ,  Hwa Sup Lim ,  Anton Sergeevich Konushin ,  Olga Vyacheslavovna Barinova ,  Vadim Sergeevich Konushin ,  Anton Anatolyevich Yakubenko

IPC分类号： G06K9/00

CPC分类号： G06K9/00704

摘要： A method of determining a ground line from an input image. The method includes determining a plurality of ground line candidates from the image, determining a certain band a central-line of which is a boundary between a G region and other regions in a Ground Building Sky (GBS) map of the image, and determining the ground line of the image by selecting a ground line candidate, among the plurality of ground line candidates, having the greatest extent crossing the certain band.

摘要翻译： 一种从输入图像确定接地线的方法。 该方法包括从图像中确定多个地线候选，确定其中心线是图像的地面建筑物天空（GBS）地图中的G区域和其它区域之间的边界的某个频带，并且确定 通过选择跨越该特定频带的最大程度的多个地线候选中的地线候选来选择图像的地线。

公开(公告)号：US09378583B2

公开(公告)日：2016-06-28

申请号：US13064785

申请日：2011-04-14

申请人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Do Kyoon Kim

发明人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Do Kyoon Kim

IPC分类号： G06T15/20 ,  G06T7/00 ,  G06T5/00

CPC分类号： G06T15/205 ,  G06T5/005 ,  G06T7/11 ,  G06T7/194 ,  G06T2207/10024 ,  G06T2207/10028

摘要： An apparatus and method for bidirectionally inpainting an occlusion area appearing during generation of a virtual viewpoint image, using a foreground area and a background area based on a predicted volume are provided. The method includes receiving an input of a depth image and a color image, the depth image having depth information for a first viewpoint, and the color image having color information for the first viewpoint, generating a virtual viewpoint image at a second viewpoint based on the depth image and the color image, separating the virtual viewpoint image into a foreground area and a background area, based on the depth information and direction information regarding a direction from the first viewpoint to the second viewpoint, predicting a three-dimensional (3D) volume of the foreground area, and inpainting an occlusion area bidirectionally using the foreground area and the background area, based on the predicted 3D volume, the occlusion area being included in the virtual viewpoint image.

摘要翻译： 提供了使用基于预测体积的前景区域和背景区域来双向地绘制在虚拟视点图像生成期间出现的遮挡区域的装置和方法。 该方法包括接收深度图像和彩色图像的输入，深度图像具有用于第一视点的深度信息，以及具有用于第一视点的颜色信息的彩色图像，基于第二视点生成虚拟视点图像 基于从第一视点到第二视点的方向的深度信息和方向信息，将虚拟视点图像分离成前景区域和背景区域，预测三维（3D）体积 并且基于所预测的3D体积，使用所述前景区域和所述背景区域双向地修复遮挡区域，所述遮挡区域包括在所述虚拟视点图像中。

公开(公告)号：US09210398B2

公开(公告)日：2015-12-08

申请号：US13088685

申请日：2011-04-18

申请人： Seung Kyu Lee ,  Hwa Sup Lim ,  Do Kyoon Kim ,  Kee Chang Lee

发明人： Seung Kyu Lee ,  Hwa Sup Lim ,  Do Kyoon Kim ,  Kee Chang Lee

IPC分类号： G06K9/00 ,  H04N13/00 ,  H04N13/02 ,  G06T3/40

CPC分类号： H04N13/128 ,  G06T3/4007 ,  H04N13/25 ,  H04N13/271

摘要： A method and apparatus for temporally interpolating a three-dimensional (3D) depth image are provided to generate an intermediate depth image in a desired time. The apparatus may interpolate depth images generated by a depth camera, using a temporal interpolation procedure, may generate an intermediate depth image in a new time using the interpolated depth images, and may combine the generated intermediate depth image with color images, to generate a high-precision 3D image.

摘要翻译： 提供了用于时间内插三维（3D）深度图像的方法和装置，以在期望的时间内生成中间深度图像。 该装置可以使用时间插值程序对由深度相机生成的深度图像进行内插，可以使用内插的深度图像在新的时间内生成中间深度图像，并且可以将生成的中间深度图像与彩色图像组合以产生高 精确3D图像。

公开(公告)号：US08766977B2

公开(公告)日：2014-07-01

申请号：US12539170

申请日：2009-08-11

申请人： Chang Yeong Kim ,  Won Chul Bang ,  Do Kyoon Kim ,  Kee Chang Lee ,  Jae Joon Han ,  Hwa Sup Lim

发明人： Chang Yeong Kim ,  Won Chul Bang ,  Do Kyoon Kim ,  Kee Chang Lee ,  Jae Joon Han ,  Hwa Sup Lim

IPC分类号： G06T17/00 ,  G06K9/00 ,  G06K9/44

CPC分类号： G06T17/00 ,  G06T7/20 ,  G06T13/40 ,  G06T2207/20044

摘要： An apparatus and method for generating a skeleton model using motion data and image data. The apparatus for generating the skeleton model may synchronize the image data and the motion data, and generate a three-dimensional (3D) skeleton model of an entire body of a user using a silhouette extracted from the image data and also using a position or orientation of a joint of the user extracted from the motion data. The skeleton model may be generated using the image data and the motion data, thereby improving accuracy of the skeleton model of the entire body of the user.

摘要翻译： 一种使用运动数据和图像数据生成骨架模型的装置和方法。 用于生成骨架模型的装置可以使图像数据和运动数据同步，并且使用从图像数据提取的轮廓并且还使用位置或取向来生成用户的整个身体的三维（3D）骨架模型 的用户从运动数据中提取的关节。 可以使用图像数据和运动数据来生成骨架模型，从而提高用户的整个身体的骨架模型的精度。

公开(公告)号：US20120001902A1

公开(公告)日：2012-01-05

申请号：US13064785

申请日：2011-04-14

申请人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Do Kyoon Kim

发明人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Do Kyoon Kim

IPC分类号： G06T15/00

CPC分类号： G06T15/205 ,  G06T5/005 ,  G06T7/11 ,  G06T7/194 ,  G06T2207/10024 ,  G06T2207/10028

摘要： An apparatus and method for bidirectionally inpainting an occlusion area appearing during generation of a virtual viewpoint image, using a foreground area and a background area based on a predicted volume are provided. The method includes receiving an input of a depth image and a color image, the depth image having depth information for a first viewpoint, and the color image having color information for the first viewpoint, generating a virtual viewpoint image at a second viewpoint based on the depth image and the color image, separating the virtual viewpoint image into a foreground area and a background area, based on the depth information and direction information regarding a direction from the first viewpoint to the second viewpoint, predicting a three-dimensional (3D) volume of the foreground area, and inpainting an occlusion area bidirectionally using the foreground area and the background area, based on the predicted 3D volume, the occlusion area being included in the virtual viewpoint image.

摘要翻译： 提供了使用基于预测体积的前景区域和背景区域来双向地绘制在虚拟视点图像生成期间出现的遮挡区域的装置和方法。 该方法包括接收深度图像和彩色图像的输入，深度图像具有用于第一视点的深度信息，以及具有用于第一视点的颜色信息的彩色图像，基于第二视点生成虚拟视点图像 基于从第一视点到第二视点的方向的深度信息和方向信息，将虚拟视点图像分离成前景区域和背景区域，预测三维（3D）体积 并且基于所预测的3D体积，使用所述前景区域和所述背景区域双向地修复遮挡区域，所述遮挡区域包括在所述虚拟视点图像中。

公开(公告)号：US09135521B2

公开(公告)日：2015-09-15

申请号：US12453121

申请日：2009-04-29

申请人： Hwa Sup Lim ,  Kee Chang Lee ,  Byong-Min Kang ,  In Cheol Park ,  Jeong Ho Han ,  Hye Yeon Shim

发明人： Hwa Sup Lim ,  Kee Chang Lee ,  Byong-Min Kang ,  In Cheol Park ,  Jeong Ho Han ,  Hye Yeon Shim

IPC分类号： G06K9/36 ,  G06K9/46 ,  H04N19/17 ,  H04N19/43 ,  H04N19/433 ,  H04N19/543

CPC分类号： G06K9/4647 ,  H04N19/17 ,  H04N19/43 ,  H04N19/433 ,  H04N19/543

摘要： An image processing apparatus and method are provided. A control unit may divide input image array data into a plurality of sub-blocks, and a first arithmetic logic unit (ALU) may generate an integral image of at least one of the plurality of sub-blocks. The control unit may determine each of the plurality of sub-blocks to be included in any one of a first sub-block group and a second sub-block group, store the integral image of each sub-block included in the first sub-block group on the first memory, and store the integral image of each sub-block included in the second sub-block group on the second memory.

摘要翻译： 提供了一种图像处理装置和方法。 控制单元可以将输入图像阵列数据划分成多个子块，并且第一算术逻辑单元（ALU）可以生成多个子块中的至少一个子块的积分图像。 控制单元可以确定要包括在第一子块组和第二子块组中的任何一个中的多个子块中的每一个，存储包括在第一子块组中的每个子块的积分图像 组合在第一存储器上，并将包括在第二子块组中的每个子块的积分图像存储在第二存储器上。

公开(公告)号：US20130266208A1

公开(公告)日：2013-10-10

申请号：US13816433

申请日：2011-08-10

申请人： Hwa Sup Lim ,  Yong Sun Kim ,  Kee Chang Lee ,  Seung Kyu Lee ,  Ouk Choi

发明人： Hwa Sup Lim ,  Yong Sun Kim ,  Kee Chang Lee ,  Seung Kyu Lee ,  Ouk Choi

IPC分类号： G06T7/00

CPC分类号： G06T7/12 ,  G06T5/005 ,  G06T5/50 ,  G06T2207/10012

摘要： Provided is an image processing apparatus. A boundary detector of the image processing apparatus may detect a boundary of an occlusion region of a color image warped in correspondence to a first view. A boundary labeling unit of the image processing apparatus may label the detected boundary with one of a foreground region boundary and a background region boundary.

摘要翻译： 提供了一种图像处理装置。 图像处理装置的边界检测器可以检测与第一视图相对应的翘曲的彩色图像的遮挡区域的边界。 图像处理装置的边界标记单元可以用前景区域边界和背景区域边界中的一个标记检测到的边界。

公开(公告)号：US20120121162A1

公开(公告)日：2012-05-17

申请号：US13137353

申请日：2011-08-08

申请人： Yong Sun Kim ,  Hwa Sup Lim ,  Kee Chang Lee

发明人： Yong Sun Kim ,  Hwa Sup Lim ,  Kee Chang Lee

IPC分类号： G06K9/00

CPC分类号： G06T5/002 ,  G06T5/20 ,  G06T2207/20012

摘要： A high speed filtering apparatus and a method for high precision restoration of a depth image are provided. The high speed filtering apparatus for high precision restoration of the depth image may include a block setting unit to set a first block including a target pixel, and to set a second block with respect to a central pixel distributed around the target pixel based on a size of the first block, a weight determining unit to determine a pixel weight with respect to each pixel in the second block, and to determine a block weight with respect to the second block by applying the pixel weight, and a processor to filter the target pixel based on the block weight, thereby accurately filtering the target pixel.

摘要翻译： 提供了高速滤波装置和深度图像的高精度恢复方法。 用于深度图像的高精度恢复的高速滤波装置可以包括块设置单元，用于设置包括目标像素的第一块，并且基于大小对目标像素周围分布的中心像素设置第二块 第一块的重量确定单元，用于确定相对于第二块中的每个像素的像素权重，并且通过应用像素权重来确定相对于第二块的块权重，以及处理器来过滤目标像素 基于块权重，从而精确地过滤目标像素。

公开(公告)号：US09369696B2

公开(公告)日：2016-06-14

申请号：US13030550

申请日：2011-02-18

申请人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Ouk Choi

发明人： Seung Kyu Lee ,  Hwa Sup Lim ,  Kee Chang Lee ,  Ouk Choi

IPC分类号： H04N13/02 ,  G06T7/00

CPC分类号： H04N13/25 ,  G06T7/579 ,  G06T7/85 ,  G06T2207/10024 ,  G06T2207/10028 ,  G06T2207/30244 ,  H04N13/246

摘要： A first calculator of an image processing apparatus may trace a view transform vector between color images of different frames. A second calculator may trace a view transform vector between depth images of different frames. In this example, a third calculator may calculate a view transform vector between the color camera and the depth camera using the view transform vector between the color images and the view transform vector between the depth images.

摘要翻译： 图像处理装置的第一计算器可以跟踪不同帧的彩色图像之间的视图变换向量。 第二计算器可以跟踪不同帧的深度图像之间的视图变换向量。 在该示例中，第三计算器可以使用彩色图像与深度图像之间的视图变换矢量之间的视角变换矢量来计算彩色摄像机和深度摄像机之间的视图变换矢量。