公开(公告)号：US08923607B1

公开(公告)日：2014-12-30

申请号：US13314837

申请日：2011-12-08

申请人： Vivek Kwatra ,  Ullas Gargi ,  Mehmet Sargin ,  Hao Tang

发明人： Vivek Kwatra ,  Ullas Gargi ,  Mehmet Sargin ,  Hao Tang

IPC分类号： G06K9/62

CPC分类号： G06K9/6256 ,  G06K9/00536 ,  G06K9/00724 ,  G06K9/46 ,  G06K9/4647 ,  G06K2009/00738 ,  G06N99/005

摘要： A highlight learning technique is provided to detect and identify highlights in sports videos. A set of event models are calculated from low-level frame information of the sports videos to identify recurring events within the videos. The event models are used to characterize videos by detecting events within the videos and using the detected events to generate an event vector. The event vector is used to train a classifier to identify the videos as highlight or non-highlight.

摘要翻译： 提供高清学习技术，以检测和识别体育视频中的亮点。 一组事件模型由体育视频的低级帧信息计算，以识别视频内的重复事件。 事件模型用于通过检测视频内的事件并使用检测到的事件来生成事件向量来表征视频。 事件向量用于训练分类器将视频识别为高亮或非高亮。

公开(公告)号：US08938119B1

公开(公告)日：2015-01-20

申请号：US13461482

申请日：2012-05-01

申请人： Mei Han ,  Vivek Kwatra ,  Shengyang Dai ,  Sergey Ioffe

发明人： Mei Han ,  Vivek Kwatra ,  Shengyang Dai ,  Sergey Ioffe

IPC分类号： G06K9/00

CPC分类号： G06K9/4661 ,  G06T5/008

摘要： An image comprising color pixels with varying illumination is selected. Instances of a repeating pattern in the image are determined. Illumination values for illuminated pixels at locations within instances of the repeating pattern are calculated based on pixel intensities of non-illuminated pixels at corresponding locations in other instances of the repeating pattern. The illumination variation is removed from the illuminated pixels based on the calculated illumination values to produce enhanced pixels. Color from the non-illuminated pixels at the corresponding locations in other instances of the repeating pattern is propagated to the enhanced pixels.

摘要翻译： 选择包括具有变化的照明的彩色像素的图像。 确定图像中的重复图案的实例。 基于重复图案的其他实例中的相应位置处的非照明像素的像素强度来计算在重复图案的实例内的位置处的照明像素的照明值。 基于所计算的照明值，从照明像素去除照明变化以产生增强像素。 来自重复图案的其他实例中的相应位置处的非照明像素的颜色被传播到增强像素。

公开(公告)号：US08860825B2

公开(公告)日：2014-10-14

申请号：US13611023

申请日：2012-09-12

申请人： Matthias Grundmann ,  Vivek Kwatra ,  Irfan Essa

发明人： Matthias Grundmann ,  Vivek Kwatra ,  Irfan Essa

IPC分类号： H04N5/228 ,  H04N5/335

CPC分类号： H04N5/23264 ,  G06T5/003 ,  G06T7/246 ,  G06T2207/20201

摘要： Methods and systems for rolling shutter removal are described. A computing device may be configured to determine, in a frame of a video, distinguishable features. The frame may include sets of pixels captured asynchronously. The computing device may be configured to determine for a pixel representing a feature in the frame, a corresponding pixel representing the feature in a consecutive frame; and determine, for a set of pixels including the pixel in the frame, a projective transform that may represent motion of the camera. The computing device may be configured to determine, for the set of pixels in the frame, a mixture transform based on a combination of the projective transform and respective projective transforms determined for other sets of pixels. Accordingly, the computing device may be configured to estimate a motion path of the camera to account for distortion associated with the asynchronous capturing of the sets of pixels.

摘要翻译： 描述滚动快门拆卸的方法和系统。 计算设备可以被配置为在视频的帧中确定可区分的特征。 帧可以包括异步捕获的像素集合。 计算设备可以被配置为针对表示帧中的特征的像素来确定代表连续帧中的特征的对应像素; 并且对于包括帧中的像素的一组像素，确定可以表示相机的运动的投影变换。 计算设备可以被配置为针对帧中的像素集合，基于针对其他像素集合确定的投影变换和相应的投影变换的组合来确定混合变换。 因此，计算设备可以被配置为估计相机的运动路径以考虑与该组像素的异步捕获相关联的失真。

公开(公告)号：US20140205206A1

公开(公告)日：2014-07-24

申请号：US13749564

申请日：2013-01-24

申请人： MAYUR DATAR ,  Huei-Hung Christopher Liao ,  Vivek Kwatra ,  Allen Huang

发明人： MAYUR DATAR ,  Huei-Hung Christopher Liao ,  Vivek Kwatra ,  Allen Huang

IPC分类号： G06T3/40

CPC分类号： G06K9/18 ,  G06T3/0012

摘要： In some instances, an image may have dimensions that do not correspond to a slot to display the image. For example, an image content item may have dimensions that do not correspond to a content item slot. The image may be resized using seam carving to add or remove pixels of the image. A saliency map for the image may be used having saliency scores for each pixel of the image. Evaluation metrics may be used before, during, and after, seam carving to determine whether salient content is affected by the seam carving. In some instances, a seam cost threshold value may be used for adaptive step size during the seam carving. The resized image may then be outputted, such as for an image content item to be served with a resource.

摘要翻译： 在某些情况下，图像可能具有不对应于显示图像的时隙的尺寸。 例如，图像内容项目可以具有与内容项目时隙不对应的维度。 可以使用接缝雕刻来调整图像的大小，以添加或删除图像的像素。 可以使用图像的显着图，其具有图像的每个像素的显着性分数。 评估指标可以在缝合雕刻之前，之中和之后使用，以确定显着含量是否受到缝合雕刻的影响。 在一些情况下，在缝合雕刻期间可以使用接缝成本阈值用于自适应步长。 然后可以输出调整大小的图像，例如用于要与资源一起服务的图像内容项目。

公开(公告)号：US08737723B1

公开(公告)日：2014-05-27

申请号：US13309125

申请日：2011-12-01

申请人： Vivek Kwatra

发明人： Vivek Kwatra

IPC分类号： G06K9/00 ,  G06T7/00 ,  G06T15/20

CPC分类号： G06T7/0075 ,  G06T3/4053 ,  G06T5/005 ,  G06T15/205 ,  G06T2207/20016

摘要： An image processing module infers depth from a stereo image pair according to a multi-scale energy minimization process. A stereo image pair is progressively downsampled to generate a pyramid of downsampled image pairs of varying resolution. Starting with the coarsest downsampled image pair, a disparity map is generated that reflects displacement between corresponding pixels in the stereo image pair. The disparity map is then progressively upsampled. At each upsampling stage, the disparity labels are refined according to an energy function. The disparity labels provide depth information related to surfaces depicted in the stereo image pair.

摘要翻译： 图像处理模块根据多尺度能量最小化过程从立体图像对推断深度。 立体图像对逐渐下采样以产生具有不同分辨率的下采样图像对的金字塔。 从最粗糙的下采样图像对开始，产生反映立体图像对中的相应像素之间的位移的视差图。 然后逐渐上升采样视差图。 在每个上采样阶段，视差标签根据能量函数进行细化。 视差标签提供与立体图像对中描绘的表面有关的深度信息。

公开(公告)号：US08712930B1

公开(公告)日：2014-04-29

申请号：US13100872

申请日：2011-05-04

申请人： Michele Covell ,  Mei Han ,  Saurabh Mathur ,  Shumeet Baluja ,  Vivek Kwatra

发明人： Michele Covell ,  Mei Han ,  Saurabh Mathur ,  Shumeet Baluja ,  Vivek Kwatra

IPC分类号： G06F15/18

CPC分类号： G06K9/6202 ,  G06F17/30247 ,  G06K9/00684 ,  G06K9/4604 ,  G06K9/6267 ,  G06K9/6292 ,  G06K9/66 ,  G06T1/0021 ,  H04N19/105 ,  H04N19/17 ,  H04N19/189

摘要： An exemplar dictionary is built from exemplars of digital content for determining predictor blocks for encoding and decoding digital content. The exemplar dictionary organizes the exemplars as clusters of similar exemplars. Each cluster is mapped to a label. Machine learning techniques are used to generate a prediction model for predicting a label for an exemplar. The exemplar dictionary is used to encode digital content. Clusters of exemplars are obtained by applying a prediction model to a target block of digital content for encoding. A predictor block is selected for encoding the target block based on frequency of occurrence of exemplars in the clusters. The target block is encoded using the predictor block.

摘要翻译： 由数字内容的示例构建示范字典，用于确定用于对数字内容进行编码和解码的预测器块。 示范字典将样本组织成类似样本的集群。 每个集群映射到一个标签。 机器学习技术用于生成用于预测样本的标签的预测模型。 示范字典用于对数字内容进行编码。 通过将预测模型应用于用于编码的数字内容的目标块来获得样本簇。 基于群集中的样本的出现频率，选择预测块来对目标块进行编码。 使用预测器块对目标块进行编码。

公开(公告)号：US20140072216A1

公开(公告)日：2014-03-13

申请号：US13609112

申请日：2012-09-10

申请人： Hui Fang ,  Vivek Kwatra ,  Meng Zhang

发明人： Hui Fang ,  Vivek Kwatra ,  Meng Zhang

IPC分类号： G06K9/00 ,  G06K9/40

CPC分类号： G06T5/009 ,  G06T2207/20076

摘要： An image processing server performs haze-removal from images. Global atmospheric light is estimated and an initial transmission value is estimated. In one embodiment, a solver is applied to an objective function to recover a scene radiance value based on the estimated atmospheric light and estimated transmission value. The scene radiance value is used to construct an image without haze. In a simplified method that avoids using a solver, bilateral filtering is performed on the transmission image in order to construct an image without haze.

摘要翻译： 图像处理服务器对图像进行雾度去除。 估计全球大气光，并估计初始透射值。 在一个实施例中，将解算器应用于目标函数，以基于估计的大气光和估计的传输值来恢复场景辐射值。 场景辐射值用于构建没有雾度的图像。 在避免使用求解器的简化方法中，对透射图像执行双边滤波，以构建无雾度的图像。

公开(公告)号：US20120105654A1

公开(公告)日：2012-05-03

申请号：US13023299

申请日：2011-02-08

申请人： Vivek Kwatra ,  Matthias Grundmann

发明人： Vivek Kwatra ,  Matthias Grundmann

IPC分类号： H04N5/228

CPC分类号： H04N5/23254 ,  G06T3/00 ,  G06T7/246 ,  G06T2207/10016 ,  G06T2207/20132 ,  G06T2207/30244 ,  H04N5/23267

摘要： Methods and systems for processing a video for stabilization and retargeting are described. A recorded video may be stabilized by removing shake introduced in the video, and a video may be retargeted by modifying the video to fit to a different aspect ratio. Constraints can be imposed that require a modified video to contain pixels from the original video and/or to preserve salient regions. In one example, a video may be processed to estimate an original path of a camera that recorded the video, to estimate a new camera path, and to recast the video from the original path to the new camera path. To estimate a new camera path, a virtual crop window can be designated. A difference transformation between the original and new camera path can be applied to the video using the crop window to recast the recorded video from the smooth camera path.

摘要翻译： 描述用于处理用于稳定和重定向的视频的方法和系统。 可以通过去除在视频中引入的抖动来稳定录制的视频，并且可以通过修改视频来重新定向视频以适应不同的长宽比。 可以施加约束，其需要修改的视频以包含来自原始视频的像素和/或保留突出区域。 在一个示例中，可以处理视频以估计记录视频的相机的原始路径，以估计新的相机路径，以及将视频从原始路径重新转换到新的相机路径。 要估计新的摄像机路径，可以指定虚拟裁剪窗口。 原始和新的相机路径之间的差异变换可以应用于使用裁剪窗口的视频，从平滑的相机路径重新记录录制的视频。

公开(公告)号：US09008356B1

公开(公告)日：2015-04-14

申请号：US13301623

申请日：2011-11-21

申请人： Alexander T. Toshev ,  Jay Yagnik ,  Vivek Kwatra

发明人： Alexander T. Toshev ,  Jay Yagnik ,  Vivek Kwatra

IPC分类号： G06K9/00 ,  G06K9/48 ,  G06T7/20

CPC分类号： G06T7/20 ,  G06K9/468 ,  G06K9/6211 ,  G06K9/6878

摘要： Methods and systems for processing an image to facilitate automated object recognition are disclosed. More particularly, an image is processed based on a perceptual grouping for the image (e.g., derived via segmentation, derived via contour detection, etc.) and a geometric-configuration model for the image (e.g., a bounding box model, a constellation, a k-fan, etc.).

摘要翻译： 公开了用于处理图像以促进自动对象识别的方法和系统。 更具体地，基于用于图像的感知分组（例如，通过经由轮廓检测等得到的分割导出）和图像的几何配置模型（例如，边界框模型，星座图， k风扇等）。

公开(公告)号：US08867859B1

公开(公告)日：2014-10-21

申请号：US13610479

申请日：2012-09-11

申请人： Vivek Kwatra ,  Mei Han ,  Shengyang Dai

发明人： Vivek Kwatra ,  Mei Han ,  Shengyang Dai

IPC分类号： G06K9/40

CPC分类号： G06T5/008 ,  G06K9/2036 ,  G06K9/4661

摘要： An image comprising varying illumination is selected. Instances of a repeating pattern in the image is determined. Illumination values for pixels at locations within instances of the repeating pattern are calculated responsive to pixel intensities of pixels at corresponding locations in other instances of the repeating pattern. The varying illumination is removed form the image responsive to the illumination values.

摘要翻译： 选择包括变化照明的图像。 确定图像中重复图案的实例。 响应于重复图案的其他实例中的相应位置处的像素的像素强度来计算在重复图案的实例内的位置处的像素的照明值。 根据照明值从图像中去除变化的照明。