公开(公告)号：US20120274822A1

公开(公告)日：2012-11-01

申请号：US13170478

申请日：2011-06-28

申请人： Scott Smith ,  Dong Li ,  Peng Lin

发明人： Scott Smith ,  Dong Li ,  Peng Lin

IPC分类号： H04N5/335

CPC分类号： H04N5/23254 ,  H04N5/2353 ,  H04N5/2355 ,  H04N5/3535 ,  H04N5/35554

摘要： An imager includes an array of pixels arranged in rows and a control circuit for sequentially capturing first and second image frames from the array of pixels. The control circuit is configured to sequentially capture first and second pairs of adjacent rows of pixels during first and second exposure times, respectively, when capturing the first image frame. The control circuit is also configured to sequentially capture first and second pairs of adjacent rows of pixels during second and first exposure times, respectively, when capturing the second image frame. The first exposure times during the first and second frames are of similar duration; and the second exposure times during the first and second frames are of similar duration. The control circuit is configured to detect motion of an object upon combining the first and second image frames and, then, correct for the motion of the object.

摘要翻译： 成像器包括排列成行的像素阵列和用于从像素阵列顺序捕获第一和第二图像帧的控制电路。 控制电路被配置为在捕获第一图像帧时分别在第一和第二曝光时间期间顺序捕获第一和第二对相邻像素行对。 控制电路还被配置为在捕获第二图像帧时分别在第二和第一曝光时间期间顺序捕获第一和第二对相邻像素行。 在第一和第二帧期间的第一曝光时间具有相似的持续时间; 并且第一和第二帧期间的第二曝光时间具有相似的持续时间。 控制电路被配置为在组合第一和第二图像帧时检测对象的运动，然后校正对象的运动。

公开(公告)号：US08890986B2

公开(公告)日：2014-11-18

申请号：US13170478

申请日：2011-06-28

申请人： Scott Smith ,  Dong Li ,  Peng Lin

发明人： Scott Smith ,  Dong Li ,  Peng Lin

IPC分类号： H04N5/235 ,  H04N3/14 ,  H04N5/355 ,  H04N5/353 ,  H04N5/232

CPC分类号： H04N5/23254 ,  H04N5/2353 ,  H04N5/2355 ,  H04N5/3535 ,  H04N5/35554

摘要： An imager includes an array of pixels arranged in rows and a control circuit for sequentially capturing first and second image frames from the array of pixels. The control circuit is configured to sequentially capture first and second pairs of adjacent rows of pixels during first and second exposure times, respectively, when capturing the first image frame. The control circuit is also configured to sequentially capture first and second pairs of adjacent rows of pixels during second and first exposure times, respectively, when capturing the second image frame. The first exposure times during the first and second frames are of similar duration; and the second exposure times during the first and second frames are of similar duration. The control circuit is configured to detect motion of an object upon combining the first and second image frames and, then, correct for the motion of the object.

摘要翻译： 成像器包括排列成行的像素阵列和用于从像素阵列顺序捕获第一和第二图像帧的控制电路。 控制电路被配置为在捕获第一图像帧时分别在第一和第二曝光时间期间顺序捕获第一和第二对相邻像素行对。 控制电路还被配置为在捕获第二图像帧时分别在第二和第一曝光时间期间顺序捕获第一和第二对相邻像素行。 在第一和第二帧期间的第一曝光时间具有相似的持续时间; 并且第一和第二帧期间的第二曝光时间具有相似的持续时间。 控制电路被配置为在组合第一和第二图像帧时检测对象的运动，然后校正对象的运动。

公开(公告)号：US08405750B2

公开(公告)日：2013-03-26

申请号：US12480651

申请日：2009-06-08

申请人： Scott Smith ,  Peng Lin ,  Christopher Zeleznik ,  Laura Savidge

发明人： Scott Smith ,  Peng Lin ,  Christopher Zeleznik ,  Laura Savidge

IPC分类号： H04N5/335 ,  G03B7/00

CPC分类号： H04N9/045 ,  H04N5/235 ,  H04N5/2355 ,  H04N2209/046

摘要： High dynamic range image sensors and image reconstruction methods for capturing high dynamic range images. An image sensor that captures high dynamic range images may include an array of pixels having two sets of pixels, each of which is used to capture an image of a scene. The two sets of pixels may be interleaved together. As an example, the first and second sets of pixels may be formed in odd-row pairs and even-row pairs of the array, respectively. The first set of pixels may use a longer exposure time than the second set of pixels. The exposures of the two sets of pixels may at least partially overlap in time. Image processing circuitry in the image sensors or an associated electronic device may de-interlace the two images and may combine the de-interlaced images to form a high dynamic range image.

摘要翻译： 高动态范围图像传感器和用于捕获高动态范围图像的图像重建方法。 捕获高动态范围图像的图像传感器可以包括具有两组像素的像素阵列，每组像素用于捕获场景的图像。 两组像素可以交错在一起。 作为示例，第一和第二组像素可以分别形成为阵列的奇数行和偶数行。 第一组像素可以使用比第二组像素更长的曝光时间。 两组像素的曝光可能在时间上至少部分重叠。 图像传感器或相关联的电子设备中的图像处理电路可以对两个图像进行去隔行扫描，并且可以组合去隔行图像以形成高动态范围图像。

公开(公告)号：US20120194686A1

公开(公告)日：2012-08-02

申请号：US13112964

申请日：2011-05-20

申请人： Peng Lin ,  Lingtao Jiang ,  Scott Smith

发明人： Peng Lin ,  Lingtao Jiang ,  Scott Smith

IPC分类号： H04N5/228

CPC分类号： H04N5/2355

摘要： Electronic devices may include image sensors and processing circuitry. Image sensors may be used to capture multiple exposure images. Processing circuitry may be used to combine multiple exposure images into high-dynamic-range images. A motion correction method is provided that detects motion between multiple exposure images without using a frame buffer. A noise model is used to separate noise from motion for more accurate motion detection. A dilation operator may be used to enlarge a motion mask generated by the motion detector. Motion-corrected images may be generated from the multiple exposure images using a soft switch based on the motion strength. Motion-corrected multiple exposure images may be combined to generate a motion-corrected HDR image. A smoothing filter may be applied to the motion region of the motion-corrected HDR image. A blooming correction may be used to eliminate color artifacts in the motion-corrected HDR image.

摘要翻译： 电子设备可以包括图像传感器和处理电路。 图像传感器可用于捕获多个曝光图像。 处理电路可以用于将多个曝光图像组合成高动态范围图像。 提供一种运动校正方法，其检测多个曝光图像之间的运动，而不使用帧缓冲器。 噪声模型用于将噪声与运动分离以进行更精确的运动检测。 扩张操作者可以用于放大由运动检测器产生的运动掩模。 可以使用基于运动强度的软开关从多个曝光图像生成运动校正图像。 运动校正的多个曝光图像可以被组合以产生运动校正的HDR图像。 可以将平滑滤波器应用于运动校正的HDR图像的运动区域。 可以使用开花校正来消除运动校正的HDR图像中的色彩伪影。

公开(公告)号：US20120188389A1

公开(公告)日：2012-07-26

申请号：US13110252

申请日：2011-05-18

申请人： Peng Lin ,  Scott Smith ,  Robert A. Black

发明人： Peng Lin ,  Scott Smith ,  Robert A. Black

IPC分类号： H04N5/225

CPC分类号： H04N5/23232 ,  G06T5/006 ,  G06T7/55 ,  G06T2207/10024 ,  H04N5/2258 ,  H04N5/2628 ,  H04N5/3415

摘要： Electronic devices may include camera modules. A camera module may include an array camera having an array of lenses and an array of corresponding image sensors. Parallax correction and depth mapping methods may be provided for array cameras. A parallax correction method may include a global and a local parallax correction. A global parallax correction may be determined based on one-dimensional horizontal and vertical projections of edge images. Local parallax corrections may be determined using a block matching procedure. Further improvements to local parallax corrections may be generated using a relative block color saturation test, a smoothing of parallax correction vectors and, if desired, using a cross-check between parallax correction vectors determined for multiple image sensors. Three dimensional depth maps may be generated based on parallax correction vectors.

摘要翻译： 电子设备可以包括相机模块。 相机模块可以包括具有透镜阵列和相应图像传感器阵列的阵列相机。 可以为阵列相机提供视差校正和深度映射方法。 视差校正方法可以包括全局和局部视差校正。 可以基于边缘图像的一维水平和垂直投影来确定全局视差校正。 可以使用块匹配过程来确定局部视差校正。 可以使用相对块颜色饱和度测试，视差校正向量的平滑以及如果需要使用为多个图像传感器确定的视差校正矢量之间的交叉检查来产生对局部视差校正的进一步改进。 可以基于视差校正矢量生成三维深度图。

公开(公告)号：US20100309333A1

公开(公告)日：2010-12-09

申请号：US12480651

申请日：2009-06-08

申请人： Scott Smith ,  Peng Lin ,  Christopher Zeleznik ,  Laura Savidge

发明人： Scott Smith ,  Peng Lin ,  Christopher Zeleznik ,  Laura Savidge

IPC分类号： H04N5/235

CPC分类号： H04N9/045 ,  H04N5/235 ,  H04N5/2355 ,  H04N2209/046

摘要： High dynamic range image sensors and image reconstruction methods for capturing high dynamic range images. An image sensor that captures high dynamic range images may include an array of pixels having two sets of pixels, each of which is used to capture an image of a scene. The two sets of pixels may be interleaved together. As an example, the first and second sets of pixels may be formed in odd-row pairs and even-row pairs of the array, respectively. The first set of pixels may use a longer exposure time than the second set of pixels. The exposures of the two sets of pixels may at least partially overlap in time. Image processing circuitry in the image sensors or an associated electronic device may de-interlace the two images and may combine the de-interlaced images to form a high dynamic range image.

摘要翻译： 高动态范围图像传感器和用于捕获高动态范围图像的图像重建方法。 捕获高动态范围图像的图像传感器可以包括具有两组像素的像素阵列，每组像素用于捕获场景的图像。 两组像素可以交错在一起。 作为示例，第一和第二组像素可以分别形成为阵列的奇数行和偶数行。 第一组像素可以使用比第二组像素更长的曝光时间。 两组像素的曝光可能在时间上至少部分重叠。 图像传感器或相关联的电子设备中的图像处理电路可以对两个图像进行去隔行扫描，并且可以组合去隔行图像以形成高动态范围图像。

公开(公告)号：US08810663B2

公开(公告)日：2014-08-19

申请号：US13112964

申请日：2011-05-20

申请人： Peng Lin ,  Lingtao Jiang ,  Scott Smith

发明人： Peng Lin ,  Lingtao Jiang ,  Scott Smith

IPC分类号： H04N5/228 ,  H04N5/235 ,  G06K9/40

CPC分类号： H04N5/2355

摘要： Electronic devices may include image sensors and processing circuitry. Image sensors may be used to capture multiple exposure images. Processing circuitry may be used to combine multiple exposure images into high-dynamic-range images. A motion correction method is provided that detects motion between multiple exposure images without using a frame buffer. A noise model is used to separate noise from motion for more accurate motion detection. A dilation operator may be used to enlarge a motion mask generated by the motion detector. Motion-corrected images may be generated from the multiple exposure images using a soft switch based on the motion strength. Motion-corrected multiple exposure images may be combined to generate a motion-corrected HDR image. A smoothing filter may be applied to the motion region of the motion-corrected HDR image. A blooming correction may be used to eliminate color artifacts in the motion-corrected HDR image.

摘要翻译： 电子设备可以包括图像传感器和处理电路。 图像传感器可用于捕获多个曝光图像。 处理电路可以用于将多个曝光图像组合成高动态范围图像。 提供一种运动校正方法，其检测多个曝光图像之间的运动，而不使用帧缓冲器。 噪声模型用于将噪声与运动分离以进行更精确的运动检测。 扩张操作者可以用于放大由运动检测器产生的运动掩模。 可以使用基于运动强度的软开关从多个曝光图像生成运动校正图像。 运动校正的多个曝光图像可以被组合以产生运动校正的HDR图像。 可以将平滑滤波器应用于运动校正的HDR图像的运动区域。 可以使用开花校正来消除运动校正的HDR图像中的色彩伪影。

公开(公告)号：US08717467B2

公开(公告)日：2014-05-06

申请号：US13149818

申请日：2011-05-31

申请人： Robert A. Black ,  Scott Smith ,  Peng Lin

发明人： Robert A. Black ,  Scott Smith ,  Peng Lin

IPC分类号： H04N9/09

CPC分类号： H04N5/2258 ,  H04N5/2253 ,  H04N9/09 ,  H04N13/239 ,  H04N13/243

摘要： Electronic devices may include camera modules. A camera module may be formed from an array of lenses and corresponding image sensors. The array of image sensors may include three color image sensors for color imaging and a fourth image sensor positioned to improve image depth mapping. Providing a camera module with a fourth image sensor may increase the baseline distance between the two most distant image sensors, allowing parallax and depth information to be determined for objects a greater distance from the camera than in a conventional electronic device. The fourth image sensor may be a second green image sensor positioned at a maximal distance from the green color image sensor used for color imaging. The fourth image sensor may also be a clear image sensor, allowing capture of improved image depth information and enhanced image resolution and low-light performance.

摘要翻译： 电子设备可以包括相机模块。 相机模块可以由透镜阵列和对应的图像传感器形成。 图像传感器阵列可以包括用于彩色成像的三个彩色图像传感器和定位成改善图像深度映射的第四图像传感器。 提供具有第四图像传感器的相机模块可以增加两个最远的图像传感器之间的基线距离，从而相对于常规的电子设备，可以确定距离照相机更远的物体的视差和深度信息。 第四图像传感器可以是位于与用于彩色成像的绿色图像传感器最大距离的第二绿色图像传感器。 第四图像传感器也可以是清晰的图像传感器，允许捕获改进的图像深度信息和增强的图像分辨率和低光性能。

公开(公告)号：US08581995B2

公开(公告)日：2013-11-12

申请号：US13110252

申请日：2011-05-18

申请人： Peng Lin ,  Scott Smith ,  Robert A. Black

发明人： Peng Lin ,  Scott Smith ,  Robert A. Black

IPC分类号： H04N5/225

CPC分类号： H04N5/23232 ,  G06T5/006 ,  G06T7/55 ,  G06T2207/10024 ,  H04N5/2258 ,  H04N5/2628 ,  H04N5/3415

摘要： Electronic devices may include camera modules. A camera module may include an array camera having an array of lenses and an array of corresponding image sensors. Parallax correction and depth mapping methods may be provided for array cameras. A parallax correction method may include a global and a local parallax correction. A global parallax correction may be determined based on one-dimensional horizontal and vertical projections of edge images. Local parallax corrections may be determined using a block matching procedure. Further improvements to local parallax corrections may be generated using a relative block color saturation test, a smoothing of parallax correction vectors and, if desired, using a cross-check between parallax correction vectors determined for multiple image sensors. Three dimensional depth maps may be generated based on parallax correction vectors.

摘要翻译： 电子设备可以包括相机模块。 相机模块可以包括具有透镜阵列和相应图像传感器阵列的阵列相机。 可以为阵列相机提供视差校正和深度映射方法。 视差校正方法可以包括全局和局部视差校正。 可以基于边缘图像的一维水平和垂直投影来确定全局视差校正。 可以使用块匹配过程来确定局部视差校正。 可以使用相对块颜色饱和度测试，视差校正向量的平滑以及如果需要使用为多个图像传感器确定的视差校正矢量之间的交叉检查来产生对局部视差校正的进一步改进。 可以基于视差校正矢量生成三维深度图。

公开(公告)号：US20120188420A1

公开(公告)日：2012-07-26

申请号：US13149818

申请日：2011-05-31

申请人： Robert A. Black ,  Scott Smith ,  Peng Lin

发明人： Robert A. Black ,  Scott Smith ,  Peng Lin

IPC分类号： H04N9/04

CPC分类号： H04N5/2258 ,  H04N5/2253 ,  H04N9/09 ,  H04N13/239 ,  H04N13/243

摘要： Electronic devices may include camera modules. A camera module may be formed from an array of lenses and corresponding image sensors. The array of image sensors may include three color image sensors for color imaging and a fourth image sensor positioned to improve image depth mapping. Providing a camera module with a fourth image sensor may increase the baseline distance between the two most distant image sensors, allowing parallax and depth information to be determined for objects a greater distance from the camera than in a conventional electronic device. The fourth image sensor may be a second green image sensor positioned at a maximal distance from the green color image sensor used for color imaging. The fourth image sensor may also be a clear image sensor, allowing capture of improved image depth information and enhanced image resolution and low-light performance.

摘要翻译： 电子设备可以包括相机模块。 相机模块可以由透镜阵列和对应的图像传感器形成。 图像传感器阵列可以包括用于彩色成像的三个彩色图像传感器和定位成改善图像深度映射的第四图像传感器。 提供具有第四图像传感器的相机模块可以增加两个最远的图像传感器之间的基线距离，从而相对于常规的电子设备，可以确定距离照相机更远的物体的视差和深度信息。 第四图像传感器可以是位于与用于彩色成像的绿色图像传感器最大距离的第二绿色图像传感器。 第四图像传感器也可以是清晰的图像传感器，允许捕获改进的图像深度信息和增强的图像分辨率和低光性能。