公开(公告)号：US08665319B2

公开(公告)日：2014-03-04

申请号：US12888582

申请日：2010-09-23

申请人： Nao Mishima ,  Takeshi Mita ,  Kenichi Shimoyama ,  Ryusuke Hirai ,  Masahiro Baba

发明人： Nao Mishima ,  Takeshi Mita ,  Kenichi Shimoyama ,  Ryusuke Hirai ,  Masahiro Baba

IPC分类号： H04N13/02

CPC分类号： G06T5/002 ,  G06T2207/10012 ,  G06T2207/10028 ,  H04N13/128 ,  H04N13/275

摘要： According to one embodiment, a parallax image generating apparatus is for generating, using a first image, a parallax images with a parallax therebetween. The apparatus includes following units. The first estimation unit estimates distribution information items indicating distributions of first depths in the first image by using first methods. The distribution information items falls within a depth range to be reproduced. The first combination unit combines the distribution information items to generate first depth information. The second calculation unit calculates second depth information indicating relative unevenness of an object in the first image. The third combination unit combines the first depth information and the second depth information by using a method different from the first methods, to generate third depth information. The generation unit generates the parallax images based on the third depth information and the first image.

摘要翻译： 根据一个实施例，视差图像生成装置用于使用第一图像生成其间具有视差的视差图像。 该装置包括以下单元。 第一估计单元通过使用第一方法估计指示第一图像中的第一深度的分布的分布信息项。 分发信息项落在要再现的深度范围内。 第一组合单元组合分配信息项以产生第一深度信息。 第二计算单元计算指示第一图像中的物体的相对不均匀性的第二深度信息。 第三组合单元通过使用与第一方法不同的方法组合第一深度信息和第二深度信息，以产生第三深度信息。 生成单元基于第三深度信息和第一图像生成视差图像。

公开(公告)号：US20110242280A1

公开(公告)日：2011-10-06

申请号：US12888582

申请日：2010-09-23

申请人： Nao Mishima ,  Takeshi Mita ,  Kenichi Shimoyama ,  Ryusuke Hirai ,  Masahiro Baba

发明人： Nao Mishima ,  Takeshi Mita ,  Kenichi Shimoyama ,  Ryusuke Hirai ,  Masahiro Baba

IPC分类号： H04N13/02

CPC分类号： G06T5/002 ,  G06T2207/10012 ,  G06T2207/10028 ,  H04N13/128 ,  H04N13/275

摘要： According to one embodiment, a parallax image generating apparatus is for generating, using a first image, a parallax images with a parallax therebetween. The apparatus includes following units. The first estimation unit estimates distribution information items indicating distributions of first depths in the first image by using first methods. The distribution information items falls within a depth range to be reproduced. The first combination unit combines the distribution information items to generate first depth information. The second calculation unit calculates second depth information indicating relative unevenness of an object in the first image. The third combination unit combines the first depth information and the second depth information by using a method different from the first methods, to generate third depth information. The generation unit generates the parallax images based on the third depth information and the first image.

摘要翻译： 根据一个实施例，视差图像生成装置用于使用第一图像生成其间具有视差的视差图像。 该装置包括以下单元。 第一估计单元通过使用第一方法估计指示第一图像中的第一深度的分布的分布信息项。 分发信息项落在要再现的深度范围内。 第一组合单元组合分配信息项以产生第一深度信息。 第二计算单元计算指示第一图像中的物体的相对不均匀性的第二深度信息。 第三组合单元通过使用与第一方法不同的方法组合第一深度信息和第二深度信息，以产生第三深度信息。 生成单元基于第三深度信息和第一图像生成视差图像。

公开(公告)号：US20120113094A1

公开(公告)日：2012-05-10

申请号：US13051571

申请日：2011-03-18

申请人： Kenichi Shimoyama ,  Takeshi Mita ,  Nao Mishima ,  Ryusuke Hirai ,  Masahiro Baba ,  Io Nakayama

发明人： Kenichi Shimoyama ,  Takeshi Mita ,  Nao Mishima ,  Ryusuke Hirai ,  Masahiro Baba ,  Io Nakayama

IPC分类号： G06T15/00

CPC分类号： G06T7/50

摘要： According to an embodiment, an image processing apparatus creates a depth map representing distribution of depths of pixels in an image. The apparatus includes an area detecting unit configured to detect an area of a vertical object included in an image; a base depth adding unit configured to add a base depth to the image, the base depth being a basic distribution of depths of pixels in the image; and, a depth map creating unit configured to acquire at least one depth of a vicinity of a ground contact position of the vertical object from the base depth added to the image, and create the depth map by setting the acquired depth onto the base depth as a depth of the area of the vertical object.

摘要翻译： 根据实施例，图像处理装置创建表示图像中像素深度分布的深度图。 该装置包括：区域检测单元，被配置为检测包括在图像中的垂直对象的区域; 基础深度添加单元，被配置为向所述图像添加基本深度，所述基本深度是所述图像中的像素深度的基本分布; 以及深度图生成单元，被配置为从添加到图像的基础深度获取垂直对象的接地位置的附近的至少一个深度，并且通过将获取的深度设置到基础深度上来创建深度图，作为 垂直物体的区域的深度。

公开(公告)号：US20120082368A1

公开(公告)日：2012-04-05

申请号：US13181888

申请日：2011-07-13

申请人： Ryusuke HIRAI ,  Nao Mishima ,  Takeshi Mita ,  Masahiro Baba

发明人： Ryusuke HIRAI ,  Nao Mishima ,  Takeshi Mita ,  Masahiro Baba

IPC分类号： G06K9/00

CPC分类号： G06T5/002 ,  G06T5/50 ,  G06T2200/04 ,  G06T2207/10028 ,  G06T2207/20012 ,  G06T2207/20076 ,  G06T2207/20212 ,  H04N13/128

摘要： According to one embodiment, a depth correction apparatus includes a clusterer, a calculator and a corrector. The clusterer is configured to apply clustering to at least one of pixel values and depth values of a plurality of pixels in a calculation range corresponding to a correction target pixel, and to classify the plurality of pixels in the calculation range into a plurality of classes. The calculator is configured to calculate pixel value statistics of the respective classes using pixel values of pixels in the respective classes. The corrector is configured to determine a corresponding class of the correction target pixel based on a pixel value of the correction target pixel and the pixel value statistics of the respective classes, and to apply correction which replaces a depth value of the correction target pixel by a representative depth value of the corresponding class.

摘要翻译： 根据一个实施例，深度校正装置包括聚类器，计算器和校正器。 聚类器被配置为将聚类应用于与校正目标像素相对应的计算范围中的多个像素的像素值和深度值中的至少一个，并将计算范围内的多个像素分类为多个类别。 计算器被配置为使用各个类中的像素的像素值来计算各个类的像素值统计。 校正器被配置为基于校正目标像素的像素值和各个类别的像素值统计来确定校正对象像素的对应类别，并且将修正目标像素的深度值替换为校正对象像素的深度值的校正 相应类的代表性深度值。

公开(公告)号：US08761492B2

公开(公告)日：2014-06-24

申请号：US13181888

申请日：2011-07-13

申请人： Ryusuke Hirai ,  Nao Mishima ,  Takeshi Mita ,  Masahiro Baba

发明人： Ryusuke Hirai ,  Nao Mishima ,  Takeshi Mita ,  Masahiro Baba

IPC分类号： G06K9/00 ,  G06K9/62

CPC分类号： G06T5/002 ,  G06T5/50 ,  G06T2200/04 ,  G06T2207/10028 ,  G06T2207/20012 ,  G06T2207/20076 ,  G06T2207/20212 ,  H04N13/128

摘要： According to one embodiment, a depth correction apparatus includes a clusterer, a calculator and a corrector. The clusterer is configured to apply clustering to at least one of pixel values and depth values of a plurality of pixels in a calculation range corresponding to a correction target pixel, and to classify the plurality of pixels in the calculation range into a plurality of classes. The calculator is configured to calculate pixel value statistics of the respective classes using pixel values of pixels in the respective classes. The corrector is configured to determine a corresponding class of the correction target pixel based on a pixel value of the correction target pixel and the pixel value statistics of the respective classes, and to apply correction which replaces a depth value of the correction target pixel by a representative depth value of the corresponding class.

摘要翻译： 根据一个实施例，深度校正装置包括聚类器，计算器和校正器。 聚类器被配置为将聚类应用于与校正目标像素相对应的计算范围中的多个像素的像素值和深度值中的至少一个，并将计算范围内的多个像素分类为多个类别。 计算器被配置为使用各个类中的像素的像素值来计算各个类的像素值统计。 校正器被配置为基于校正目标像素的像素值和各个类别的像素值统计来确定校正对象像素的对应类别，并且将修正目标像素的深度值替换为校正对象像素的深度值的校正 相应类的代表性深度值。

公开(公告)号：US08427488B2

公开(公告)日：2013-04-23

申请号：US13409213

申请日：2012-03-01

申请人： Ryusuke Hirai ,  Hidenori Takeshima ,  Takeshi Mita ,  Nao Mishima ,  Kenichi Shimoyama ,  Takashi Ida

发明人： Ryusuke Hirai ,  Hidenori Takeshima ,  Takeshi Mita ,  Nao Mishima ,  Kenichi Shimoyama ,  Takashi Ida

IPC分类号： G06T1/20 ,  G06K9/54 ,  G06K9/60

CPC分类号： G06T3/4007 ,  H04N13/106 ,  H04N13/128 ,  H04N13/261 ,  H04N2013/0081

摘要： According to one embodiment, a parallax image generating apparatus includes a deriving unit, a generating unit, a first calculating unit, a setting unit, a searching unit, and an interpolating unit. The deriving unit derives a parallax vector corresponding to a first pixel from the input image and depth information associated with the first pixel. The generating unit generates an intermediate image. The first calculating unit calculates first weights for respective pixels of a parallax image. The setting unit sets one or more candidate blocks near a shade-forming-area pixel of the intermediate image, and sets a reference block among one or more candidate blocks. The searching unit searches a target block similar to the reference block in the input image and/or the intermediate image. The interpolating unit interpolates a pixel value of the shade-forming-area pixel.

摘要翻译： 根据一个实施例，视差图像生成装置包括导出单元，生成单元，第一计算单元，设置单元，搜索单元和内插单元。 导出单元从输入图像中导出对应于第一像素的视差矢量和与第一像素相关联的深度信息。 生成单元生成中间图像。 第一计算单元计算视差图像的各个像素的第一权重。 设置单元在中间图像的阴影形成区域像素附近设置一个或多个候选块，并且在一个或多个候选块中设置参考块。 搜索单元在输入图像和/或中间图像中搜索与参考块类似的目标块。 内插单元内插色调形成区域像素的像素值。

公开(公告)号：US08805020B2

公开(公告)日：2014-08-12

申请号：US13052194

申请日：2011-03-21

申请人： Takeshi Mita ,  Nao Mishima ,  Kenichi Shimoyama ,  Ryusuke Hirai

发明人： Takeshi Mita ,  Nao Mishima ,  Kenichi Shimoyama ,  Ryusuke Hirai

IPC分类号： G06K9/00 ,  G06K9/46 ,  G06K9/66 ,  G06K9/20 ,  G06K9/36 ,  H04N15/00 ,  H04N13/00 ,  G06T15/00 ,  G06T7/00 ,  G06T7/40

CPC分类号： G06K9/4642 ,  G06K9/00697 ,  G06K9/00704 ,  G06K9/6269 ,  G06T7/50 ,  G06T7/80 ,  G06T7/90 ,  G06T2207/10016 ,  G06T2207/10028 ,  G06T2207/20021 ,  H04N13/261

摘要： According to one embodiment, a depth signal generating apparatus includes following units. The calculating unit is configured to calculate a statistic value for pixel values for each of predefined areas in the first image, and calculate, for each of predetermined base depth models, a first evaluation value based on the calculated statistic value. The correcting unit is configured to correct, based on a second evaluation value previously derived for the second image and a first degree of similarity indicating a similarity between the predetermined base depth models, the first evaluation value to derive second evaluation values for the predetermined base depth models. The selecting unit is configured to select a base depth model having the highest second evaluation value from the predetermined base depth models. The generating unit is configured to generate a depth signal based on the selected base depth model.

摘要翻译： 根据一个实施例，深度信号发生装置包括以下单元。 计算单元被配置为计算第一图像中的每个预定区域的像素值的统计值，并且针对每个预定基础深度模型，基于所计算的统计值来计算第一评估值。 校正单元被配置为基于先前为第二图像导出的第二评估值和指示预定基准深度模型之间的相似度的第一相似程度来校正第一评估值，以获得预定基础深度的第二评估值 楷模。 选择单元被配置为从预定的基本深度模型中选择具有最高的第二评估值的基础深度模型。 生成单元被配置为基于所选择的基础深度模型生成深度信号。

公开(公告)号：US20120162223A1

公开(公告)日：2012-06-28

申请号：US13409213

申请日：2012-03-01

申请人： Ryusuke Hirai ,  Hidenori Takeshima ,  Takeshi Mita ,  Nao Mishima ,  Kenichi Shimoyama ,  Takashi Ida

发明人： Ryusuke Hirai ,  Hidenori Takeshima ,  Takeshi Mita ,  Nao Mishima ,  Kenichi Shimoyama ,  Takashi Ida

IPC分类号： G06T15/00

CPC分类号： G06T3/4007 ,  H04N13/106 ,  H04N13/128 ,  H04N13/261 ,  H04N2013/0081

摘要： According to one embodiment, a parallax image generating apparatus includes a deriving unit, a generating unit, a first calculating unit, a setting unit, a searching unit, and an interpolating unit. The deriving unit derives a parallax vector corresponding to a first pixel from the input image and depth information associated with the first pixel. The generating unit generates an intermediate image. The first calculating unit calculates first weights for respective pixels of a parallax image. The setting unit sets one or more candidate blocks near a shade-forming-area pixel of the intermediate image, and sets a reference block among one or more candidate blocks. The searching unit searches a target block similar to the reference block in the input image and/or the intermediate image. The interpolating unit interpolates a pixel value of the shade-forming-area pixel.

摘要翻译： 根据一个实施例，视差图像生成装置包括导出单元，生成单元，第一计算单元，设置单元，搜索单元和内插单元。 导出单元从输入图像中导出对应于第一像素的视差矢量和与第一像素相关联的深度信息。 生成单元生成中间图像。 第一计算单元计算视差图像的各个像素的第一权重。 设置单元在中间图像的阴影形成区域像素附近设置一个或多个候选块，并且在一个或多个候选块中设置参考块。 搜索单元在输入图像和/或中间图像中搜索与参考块类似的目标块。 内插单元内插色调形成区域像素的像素值。

公开(公告)号：US20120162200A1

公开(公告)日：2012-06-28

申请号：US13227210

申请日：2011-09-07

申请人： Nao MISHIMA ,  Takeshi Mita ,  Masahiro Baba

发明人： Nao MISHIMA ,  Takeshi Mita ,  Masahiro Baba

IPC分类号： G06T15/00

CPC分类号： H04N13/128

摘要： According to an embodiment, a map converting method includes calculating existing frequency of depths in a first map, the first map corresponding to at least an image area of an image and each pixel of the first map representing a depth corresponding to a pixel of the image area; and first converting the first map into a second map that represents a depth in a first range for each pixel by using the existing frequency.

摘要翻译： 根据实施例，地图转换方法包括计算第一地图中的深度的现有频率，第一地图对应于图像的至少一个图像区域，第一地图的每个像素表示与图像的像素对应的深度 区; 并且首先通过使用现有频率将第一映射转换成表示每个像素的第一范围内的深度的第二映射。

公开(公告)号：US20120019625A1

公开(公告)日：2012-01-26

申请号：US13052793

申请日：2011-03-21

申请人： Nao MISHIMA ,  Takeshi Mita ,  Masahiro Baba

发明人： Nao MISHIMA ,  Takeshi Mita ,  Masahiro Baba

IPC分类号： H04N13/02

CPC分类号： G06T15/205 ,  H04N13/261

摘要： According to one embodiment, a parallax image generation apparatus comprises a calculation unit and a generation unit. The calculation unit is configured to calculate a distance between a target pixel value of a target pixel contained in an input image and a representative pixel value, and calculating a depth of the target pixel in a stereoscopic space in accordance with the distance. The generation unit is configured to generate, based on the depth, at least one parallax image corresponding to a view point different from that of the input image.

摘要翻译： 根据一个实施例，视差图像生成装置包括计算单元和生成单元。 计算单元被配置为计算输入图像中包含的目标像素的目标像素值与代表像素值之间的距离，并且根据该距离计算立体空间中的目标像素的深度。 生成单元被配置为基于深度生成与不同于输入图像的视点相对应的至少一个视差图像。