公开(公告)号：US08964040B2

公开(公告)日：2015-02-24

申请号：US13489609

申请日：2012-06-06

申请人： Marius Tico ,  Jianping Zhou ,  Todd S. Sachs

发明人： Marius Tico ,  Jianping Zhou ,  Todd S. Sachs

IPC分类号： H04N5/228 ,  H04N5/225 ,  H04N7/18

CPC分类号： H04N5/225 ,  H04N5/23258 ,  H04N5/23277 ,  H04N5/2355 ,  H04N5/262

摘要： Motion sensor data may be used to register a sequence of standard dynamic range images for producing a high dynamic range (HDR) image, reducing use of computational resources over software visual feature mapping techniques. A rotational motion sensor may produce information about orientation changes in the imaging device between images in the sequence of images sufficient to allow registration of the images, instead of using registration based on analysis of visual features of the images. If the imaging device has been moved laterally, then the motion sensor data may not be useful and visual feature mapping techniques may be employed to produce the HDR image.

摘要翻译： 可以使用运动传感器数据来注册用于产生高动态范围（HDR）图像的标准动态范围图像序列，从而减少计算资源在软件视觉特征映射技术上的使用。 旋转运动传感器可以产生关于图像序列中的图像之间的成像装置中的取向变化的信息，足以允许图像的注册，而不是基于对图像的视觉特征的分析来使用注册。 如果成像设备已被横向移动，则运动传感器数据可能不是有用的，并且可以采用视觉特征映射技术来产生HDR图像。

公开(公告)号：US20130329087A1

公开(公告)日：2013-12-12

申请号：US13489609

申请日：2012-06-06

申请人： Marius Tico ,  Jianping Zhou ,  Todd S. Sachs

发明人： Marius Tico ,  Jianping Zhou ,  Todd S. Sachs

IPC分类号： H04N5/262 ,  H04N5/225

CPC分类号： H04N5/225 ,  H04N5/23258 ,  H04N5/23277 ,  H04N5/2355 ,  H04N5/262

摘要： Motion sensor data may be used to register a sequence of standard dynamic range images for producing a high dynamic range (HDR) image, reducing use of computational resources over software visual feature mapping techniques. A rotational motion sensor may produce information about orientation changes in the imaging device between images in the sequence of images sufficient to allow registration of the images, instead of using registration based on analysis of visual features of the images. If the imaging device has been moved laterally, then the motion sensor data may not be useful and visual feature mapping techniques may be employed to produce the HDR image.

摘要翻译： 可以使用运动传感器数据来注册用于产生高动态范围（HDR）图像的标准动态范围图像序列，从而减少计算资源在软件视觉特征映射技术上的使用。 旋转运动传感器可以产生关于图像序列中的图像之间的成像装置中的取向变化的信息，足以允许图像的注册，而不是基于对图像的视觉特征的分析来使用注册。 如果成像装置已被横向移动，则运动传感器数据可能不是有用的，并且可以采用视觉特征映射技术来产生HDR图像。

公开(公告)号：US09628711B2

公开(公告)日：2017-04-18

申请号：US13327487

申请日：2011-12-15

申请人： Jianping Zhou

发明人： Jianping Zhou

IPC分类号： H04N5/228 ,  H04N5/232

CPC分类号： H04N5/23258 ,  H04N5/23267

摘要： An apparatus, method, and computer-readable medium for motion sensor-based video stabilization. A motion sensor may capture motion data of a video sequence. A controller may compute average motion data of the camera used to capture the video sequence based on motion data from the motion sensor. The controller may then determine the difference between the actual camera motion and the average camera motion to set a video stabilization strength parameter for the frames in the video sequence. A video stabilization unit may utilize the strength parameter to stabilize the frames in the video sequence.

公开(公告)号：US08896713B2

公开(公告)日：2014-11-25

申请号：US13210060

申请日：2011-08-15

申请人： Brandon Corey ,  George William ,  Jianping Zhou

发明人： Brandon Corey ,  George William ,  Jianping Zhou

IPC分类号： H04N5/228 ,  H04N5/232

CPC分类号： H04N5/23254 ,  H04N5/23261 ,  H04N5/23274

摘要： Systems, methods, and computer readable media for stabilizing video frames based on information from a motion sensor are described. In general, digital video stabilization techniques are disclosed for generating and applying image-specific transformations to individual frames (images) in a video sequence after, rather than before, the image has been captured. The transformations may be used to counter-balance or compensate for unwanted jitter occurring during video capture due to, for example, a person's hand shaking.

摘要翻译： 描述了基于来自运动传感器的信息来稳定视频帧的系统，方法和计算机可读介质。 通常，公开了数字视频稳定技术，用于在已经捕获图像之后而不是之前在视频序列中生成和应用图像特定变换。 这些变换可以用于平衡或补偿由于例如人的手抖动而在视频捕获期间发生的不期望的抖动。

公开(公告)号：US20130044228A1

公开(公告)日：2013-02-21

申请号：US13210060

申请日：2011-08-15

申请人： Brandon Corey ,  George William ,  Jianping Zhou

发明人： Brandon Corey ,  George William ,  Jianping Zhou

IPC分类号： H04N5/228

CPC分类号： H04N5/23254 ,  H04N5/23261 ,  H04N5/23274

摘要： Systems, methods, and computer readable media for stabilizing video frames based on information from a motion sensor are described. In general, digital video stabilization techniques are disclosed for generating and applying image-specific transformations to individual frames (images) in a video sequence after, rather than before, the image has been captured. The transformations may be used to counter-balance or compensate for unwanted jitter occurring during video capture due to, for example, a person's hand shaking.

摘要翻译： 描述了基于来自运动传感器的信息来稳定视频帧的系统，方法和计算机可读介质。 通常，公开了数字视频稳定技术，用于在已经捕获图像之后而不是之前在视频序列中生成和应用图像特定变换。 这些变换可以用于平衡或补偿由于例如人的手抖动而在视频捕捉期间发生的不期望的抖动。

公开(公告)号：US08345973B2

公开(公告)日：2013-01-01

申请号：US12752952

申请日：2010-04-01

申请人： Jianping Zhou

发明人： Jianping Zhou

IPC分类号： G06K9/00

CPC分类号： G06T5/009 ,  G06T5/40

摘要： Embodiments of an apparatus, system and method are described for an adaptive light method for low power architecture. A histogram with a plurality of bins may be determined based on luminance for an image. A tone differential may be decreased based on a sum of pixel counts from adjacent bins. The image may be displayed based at least in part on a tone differential of a bin. Other embodiments are described and claimed.

摘要翻译： 对于低功率架构的自适应光法描述了装置，系统和方法的实施例。 可以基于图像的亮度来确定具有多个箱的直方图。 可以基于来自相邻箱的像素数的总和来减小色差。 该图像可以至少部分地基于纸盒的色差来显示。 描述和要求保护其他实施例。

公开(公告)号：US20120306999A1

公开(公告)日：2012-12-06

申请号：US13151105

申请日：2011-06-01

申请人： Jianping Zhou

发明人： Jianping Zhou

IPC分类号： H04N5/228

CPC分类号： H04N5/23238 ,  H04N5/2624

摘要： Systems, methods, and computer readable media for stitching or aligning multiple images (or portions of images) to generate a panoramic image are described. In general, techniques are disclosed for using motion data (captured at substantially the same time as image data) to align images rather than performing image analysis and/or registration operations. More particularly, motion data may be used to identify the rotational change between successive images. The identified rotational change, in turn, may be used to generate a transform that, when applied to an image allows it to be aligned with a previously captured image. In this way, images may be aligned in real-time using only motion data.

摘要翻译： 描述用于拼接或对准多个图像（或图像的部分）以产生全景图像的系统，方法和计算机可读介质。 通常，公开了使用运动数据（在与图像数据基本上相同的时间捕获）来对准图像而不是执行图像分析和/或注册操作的技术。 更具体地，运动数据可用于识别连续图像之间的旋转变化。 识别的旋转变化又可以用于产生当应用于图像时允许其与先前捕获的图像对准的变换。 以这种方式，可以仅使用运动数据实时地对准图像。

公开(公告)号：US20120293609A1

公开(公告)日：2012-11-22

申请号：US13109883

申请日：2011-05-17

申请人： Frank Doepke ,  Jianping Zhou

发明人： Frank Doepke ,  Jianping Zhou

IPC分类号： H04N5/262

CPC分类号： H04N5/23238

摘要： This disclosure pertains to devices, methods, and computer readable media for perforating positional sensor-assisted panoramic photography techniques in handheld personal electronic devices. Generalized steps that may be used to carry out the panoramic photography techniques described herein include, but are not necessarily limited to: 1.) acquiring image data from the electronic device's image sensor; 2.) performing “motion filtering” on the acquired image data, e.g., using information returned from positional sensors of the electronic device to inform the processing of the image data; 3.) performing image registration between adjacent captured images; 4.) performing geometric corrections on captured image data, e.g., due to perspective changes and/or camera rotation about a non-center of perspective (COP) camera point; and 5.) “stitching” the captured images together to create the panoramic scene, e.g., blending the image data in the overlap area between adjacent captured images. The resultant stitched panoramic image may be cropped before final storage.

摘要翻译： 本公开涉及用于在手持式个人电子设备中穿孔位置传感器辅助全景摄影技术的装置，方法和计算机可读介质。 可以用于执行本文描述的全景摄影技术的通用步骤包括但不限于：1.从电子设备的图像传感器获取图像数据; 2.对所获取的图像数据执行运动滤波，例如使用从电子设备的位置传感器返回的信息来通知图像数据的处理; 3）在相邻拍摄图像之间执行图像配准; 4.）对捕获的图像数据进行几何校正，例如由于透视变化和/或关于非中心透镜（COP）相机点的相机旋转; 和5.）将所捕获的图像拼接在一起以创建全景场景，例如，将图像数据混合在相邻拍摄图像之间的重叠区域中。 最终的缝合全景图像可以在最终存储之前被裁剪。

公开(公告)号：US20120082387A1

公开(公告)日：2012-04-05

申请号：US12896077

申请日：2010-10-01

申请人： Yong Zhang ,  Ravishankar Iyer ,  Rameshkumar G. Illikkal ,  Donald K. Newell ,  Jianping Zhou

发明人： Yong Zhang ,  Ravishankar Iyer ,  Rameshkumar G. Illikkal ,  Donald K. Newell ,  Jianping Zhou

IPC分类号： G06K9/46

CPC分类号： G06K9/481 ,  G06K9/00973 ,  G06K9/4671 ,  G06K2009/485

摘要： Methods and systems of recognizing images may include an apparatus having a hardware module with logic to, for a plurality of vectors in an image, determine a first intermediate computation based on even pixels of an image vector, and determine a second intermediate computation based on odd pixels of an image vector. The logic can also combine the first and second intermediate computations into a Hessian matrix computation.

摘要翻译： 识别图像的方法和系统可以包括具有硬件模块的装置，该硬件模块具有对于图像中的多个向量的逻辑，基于图像矢量的偶数像素确定第一中间计算，并且基于奇数来确定第二中间计算 图像矢量的像素。 逻辑还可以将第一和第二中间计算组合成Hessian矩阵计算。

公开(公告)号：US20120076403A1

公开(公告)日：2012-03-29

申请号：US12888684

申请日：2010-09-23

申请人： Oscar Nestares ,  Jianping Zhou ,  Yoram Gat

发明人： Oscar Nestares ,  Jianping Zhou ,  Yoram Gat

IPC分类号： G06K9/00

CPC分类号： G06T5/50 ,  G06T5/003 ,  G06T2200/21 ,  G06T2207/20016 ,  G06T2207/20221 ,  H04N5/23232 ,  H04N5/2356

摘要： Methods and systems to create an image in which objects at different focal depths all appear to be in focus. In an embodiment, all objects in the scene may appear in focus. Non-stationary cameras may be accommodated, so that variations in the scene resulting from camera jitter or other camera motion may be tolerated. An image alignment process may be used, and the aligned images may be blended using a process that may be implemented using logic that has relatively limited performance capability. The blending process may take a set of aligned input images and convert each image into a simplified Laplacian pyramid (LP). The LP is a data structure that includes several processed versions of the image, each version being of a different size. The set of aligned images is therefore converted into a corresponding set of LPs. The LPs may be combined into a composite LP, which may then undergo Laplacian pyramid reconstruction (LPR). The output of the LPR process is the final blended image.

摘要翻译： 创建图像的方法和系统，其中不同焦点深度处的对象都显得焦点。 在一个实施例中，场景中的所有对象可能会出现焦点。 可以容纳非固定照相机，从而可以容忍由于相机抖动或其他相机运动引起的场景变化。 可以使用图像对准过程，并且可以使用可以使用具有相对有限的性能能力的逻辑来实现的处理来混合对准的图像。 混合过程可以采用一组对齐的输入图像，并将每个图像转换成简化的拉普拉斯金字塔（LP）。 LP是包含图像的几个处理版本的数据结构，每个版本的大小不同。 因此，对齐的图像集合被转换成相应的一组LP。 LP可以组合成复合LP，然后可以进行拉普拉斯金字塔重建（LPR）。 LPR过程的输出是最终的混合图像。