公开(公告)号：US07312819B2

公开(公告)日：2007-12-25

申请号：US10720677

申请日：2003-11-24

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang ,  Dongjun Lan

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang ,  Dongjun Lan

IPC分类号： H04N5/228 ,  G06K9/00

CPC分类号： G06T7/20 ,  H04N5/145 ,  H04N17/002

摘要： A robust camera motion analysis method is described. In an implementation, a method includes analyzing video having sequential frames to determine one or more camera motions that occurred when sequential frames of the video were captured. The one or more camera motions for each frame are described by a set of displacement curves, a mean absolute difference (MAD) curve, and a major motion (MAJ) curve. The set of displacement curves describe the one or more camera motions in respective horizontal (H), vertical (V), and radial (R) directions. The MAD curve relates a minimum MAD value from the set of displacement curves. The MAJ curve is generated from the minimum MAD value and provides one or more qualitative descriptions that describe the one or more camera motions as at least one of still, vertical, horizontal and radial.

摘要翻译： 描述了鲁棒的摄像机运动分析方法。 在实现中，一种方法包括分析具有顺序帧的视频，以确定在捕获视频的连续帧时发生的一个或多个相机运动。 通过一组位移曲线，平均绝对差（MAD）曲线和主运动（MAJ）曲线来描述每帧的一个或多个相机运动。 位移曲线集描述了水平（H），垂直（V）和径向（R）方向上的一个或多个相机运动。 MAD曲线与位移曲线集合中的最小MAD值相关。 从最小MAD值生成MAJ曲线，并提供描述一个或多个相机运动作为静止，垂直，水平和径向中的至少一个的一个或多个定性描述。

公开(公告)号：US07313185B2

公开(公告)日：2007-12-25

申请号：US10632666

申请日：2003-08-01

申请人： Yu-Fei Ma ,  Gu Xu ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Gu Xu ,  Hong-Jiang Zhang

IPC分类号： H04N7/12

CPC分类号： G06T7/20 ,  H04N5/145

摘要： Systems and methods for representing sequential motion patterns are described. In one aspect, video frames are converted into a sequence of energy redistribution measurements. One or more motion filters are then applied to the ER measurements to generate one or more temporal sequences of motion patterns, the number of temporal sequences being a function of the number of motion filters.

摘要翻译： 描述用于表示顺序运动模式的系统和方法。 在一个方面，视频帧被转换成能量再分布测量序列。 然后将一个或多个运动滤波器应用于ER测量以产生运动模式的一个或多个时间序列，时间序列的数量是运动滤波器的数量的函数。

公开(公告)号：US07127120B2

公开(公告)日：2006-10-24

申请号：US10286348

申请日：2002-11-01

申请人： Xian-Sheng Hua ,  Lie Lu ,  Yu-Fei Ma ,  Mingjing Li ,  Hong-Jiang Zhang

发明人： Xian-Sheng Hua ,  Lie Lu ,  Yu-Fei Ma ,  Mingjing Li ,  Hong-Jiang Zhang

IPC分类号： G06K9/40

CPC分类号： G11B27/034 ,  G11B27/28

摘要： Systems and methods to automatically edit a video to generate a video summary are described. In one aspect, sub-shots are extracted from the video. Importance measures are calculated for at least a portion of the extracted sub-shots. Respective relative distributions for sub-shots having relatively higher importance measures as compared to importance measures of other sub-shots are determined. Based on the determined relative distributions, sub-shots that do not exhibit a uniform distribution with respect to other sub-shots in the particular ones are dropped. The remaining sub-shots are connected with respective transitions to generate the video summary.

摘要翻译： 描述了自动编辑视频以生成视频摘要的系统和方法。 在一方面，从视频中提取子拍摄。 对于提取的子拍摄的至少一部分计算重要性度量。 确定与其他子拍摄重要度量相比具有相对较高重要度量的子投影的相对相对分布。 基于所确定的相对分布，相对于特定的其他子投影，不显示均匀分布的子投影。 剩余的子拍摄与各自的转换相连接以产生视频摘要。

公开(公告)号：US20050110875A1

公开(公告)日：2005-05-26

申请号：US10720677

申请日：2003-11-24

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang ,  Dongjung Lan

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang ,  Dongjung Lan

IPC分类号： G03B17/00 ,  G06K9/40 ,  G06T7/20 ,  H04N5/14 ,  H04N5/228 ,  H04N17/00

CPC分类号： G06T7/20 ,  H04N5/145 ,  H04N17/002

摘要： A robust camera motion analysis method is described. In an implementation, a method includes analyzing video having sequential frames to determine one or more camera motions that occurred when sequential frames of the video were captured. The one or more camera motions for each frame are described by a set of displacement curves, a mean absolute difference (MAD) curve, and a major motion (MAJ) curve. The set of displacement curves describe the one or more camera motions in respective horizontal (H), vertical (V), and radial (R) directions. The MAD curve relates a minimum MAD value from the set of displacement curves. The MAJ curve is generated from the minimum MAD value and provides one or more qualitative descriptions that describe the one or more camera motions as at least one of still, vertical, horizontal and radial.

摘要翻译： 描述了鲁棒的摄像机运动分析方法。 在实现中，一种方法包括分析具有顺序帧的视频，以确定在捕获视频的连续帧时发生的一个或多个相机运动。 通过一组位移曲线，平均绝对差（MAD）曲线和主运动（MAJ）曲线来描述每帧的一个或多个相机运动。 位移曲线集描述了水平（H），垂直（V）和径向（R）方向上的一个或多个相机运动。 MAD曲线与位移曲线集合中的最小MAD值相关。 从最小MAD值生成MAJ曲线，并提供描述一个或多个相机运动作为静止，垂直，水平和径向中的至少一个的一个或多个定性描述。

公开(公告)号：US07274741B2

公开(公告)日：2007-09-25

申请号：US10286053

申请日：2002-11-01

申请人： Yu-Fei Ma ,  Lie Lu ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Lie Lu ,  Hong-Jiang Zhang

IPC分类号： H04N7/12 ,  G06K9/46

CPC分类号： G06K9/4671 ,  G06K9/00711 ,  G06T7/00 ,  G06T7/40 ,  H04H60/56 ,  H04N21/8453 ,  H04N21/854

摘要： Systems and methods to generate an attention model for computational analysis of video data are described. In one aspect, feature components from a video data sequence are extracted. Attention data is generated by applying multiple attention models to the extracted feature components. The generated attention data is integrated into a comprehensive user attention model for the computational analysis of the video data sequence.

摘要翻译： 描述了生成用于视频数据的计算分析的注意模型的系统和方法。 在一个方面，提取来自视频数据序列的特征组件。 通过对提取的特征组件应用多个注意力模型来生成注意数据。 所产生的关注数据被集成到用于视频数据序列的计算分析的综合用户关注模型中。

公开(公告)号：US20050025242A1

公开(公告)日：2005-02-03

申请号：US10632666

申请日：2003-08-01

申请人： Yu-Fei Ma ,  Gu Xu ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Gu Xu ,  Hong-Jiang Zhang

IPC分类号： G06T7/20 ,  H04N5/14 ,  H04N7/12

CPC分类号： G06T7/20 ,  H04N5/145

摘要： Systems and methods for representing sequential motion patterns are described. In one aspect, video frames are converted into a sequence of energy redistribution measurements. One or more motion filters are then applied to the ER measurements to generate one or more temporal sequences of motion patterns, the number of temporal sequences being a function of the number of motion filters.

摘要翻译： 描述用于表示顺序运动模式的系统和方法。 在一个方面，视频帧被转换成能量再分布测量序列。 然后将一个或多个运动滤波器应用于ER测量以产生运动模式的一个或多个时间序列，时间序列的数量是运动滤波器的数量的函数。

公开(公告)号：US08098730B2

公开(公告)日：2012-01-17

申请号：US11278487

申请日：2006-04-03

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang

IPC分类号： H04N7/12 ,  H04N11/02 ,  H04N11/04 ,  H04B1/66

CPC分类号： G06K9/4671 ,  G06K9/00711 ,  G06T7/215

摘要： Systems and methods to generate a motion attention model of a video data sequence are described. In one aspect, a motion saliency map B is generated to precisely indicate motion attention areas for each frame in the video data sequence. The motion saliency maps are each based on intensity I, spatial coherence Cs, and temporal coherence Ct values. These values are extracted from each block or pixel in motion fields that are extracted from the video data sequence. Brightness values of detected motion attention areas in each frame are accumulated to generate, with respect to time, the motion attention model.

摘要翻译： 描述了生成视频数据序列的运动注意模型的系统和方法。 在一个方面，生成运动显着图B以精确地指示视频数据序列中的每个帧的运动注意区域。 运动显着图分别基于强度I，空间相干Cs和时间相干Ct值。 从从视频数据序列提取的运动场中的每个块或像素中提取这些值。 每个帧中检测到的运动关注区域的亮度值被累积，以相对于时间产生运动注意力模型。

公开(公告)号：US07986372B2

公开(公告)日：2011-07-26

申请号：US10910803

申请日：2004-08-02

申请人： Yu-Fei Ma ,  Bin Lin ,  Zhike Kong ,  Xinli Zou ,  Wei-Ying Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Bin Lin ,  Zhike Kong ,  Xinli Zou ,  Wei-Ying Ma ,  Hong-Jiang Zhang

IPC分类号： H04N5/14 ,  H04N9/64

CPC分类号： G11B27/28 ,  G06F17/30793 ,  G06F17/30802 ,  G06F17/30849 ,  G06K9/00711 ,  G11B27/10

摘要： Systems and methods for smart media content thumbnail extraction are described. In one aspect program metadata is generated from recorded video content. The program metadata includes one or more key-frames from one or more corresponding shots. An objectively representative key-frame is identified from among the key-frames as a function of shot duration and frequency of appearance of key-frame content across multiple shots. The objectively representative key-frame is an image frame representative of the recorded video content. A thumbnail is created from the objectively representative key-frame.

摘要翻译： 描述了用于智能媒体内容缩略图提取的系统和方法。 在一个方面，节目元数据是从记录的视频内容生成的。 程序元数据包括来自一个或多个相应镜头的一个或多个关键帧。 从关键帧中识别出客观上代表性的关键帧作为多个镜头中的关键帧内容的拍摄持续时间和出现频率的函数。 客观代表的关键帧是表示记录的视频内容的图像帧。 从客观代表的关键帧创建缩略图。

公开(公告)号：US07400761B2

公开(公告)日：2008-07-15

申请号：US10676519

申请日：2003-09-30

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang

IPC分类号： G06K9/34

CPC分类号： G06K9/3233

摘要： Systems and methods for image attention analysis are described. In one aspect, image attention is modeled by preprocessing an image to generate a quantized set of image blocks. A contrast-based saliency map for modeling one-to-three levels of image attention is then generated from the quantized image blocks.

摘要翻译： 描述了用于图像注意分析的系统和方法。 在一个方面，通过对图像进行预处理以生成量化的图像块集来建模图像。 然后从量化的图像块生成用于建模一到三级图像注意的基于对比度的显着图。

公开(公告)号：US07116716B2

公开(公告)日：2006-10-03

申请号：US10285933

申请日：2002-11-01

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang

IPC分类号： H04N7/12 ,  G06K9/36

CPC分类号： G06K9/4671 ,  G06K9/00711 ,  G06T7/215

摘要： Systems and methods to generate a motion attention model of a video data sequence are described. In one aspect, a motion saliency map B is generated to precisely indicate motion attention areas for each frame in the video data sequence. The motion saliency maps are each based on intensity I, spatial coherence Cs, and temporal coherence Ct values. These values are extracted from each block or pixel in motion fields that are extracted from the video data sequence. Brightness values of detected motion attention areas in each frame are accumulated to generate, with respect to time, the motion attention model.

摘要翻译： 描述了生成视频数据序列的运动注意模型的系统和方法。 在一个方面，生成运动显着图B以精确地指示视频数据序列中的每个帧的运动注意区域。 运动显着图分别基于强度I，空间相干Cs和时间相干Ct值。 从从视频数据序列提取的运动场中的每个块或像素中提取这些值。 每个帧中检测到的运动关注区域的亮度值被累积，以相对于时间产生运动注意力模型。