公开(公告)号：US08098730B2

公开(公告)日：2012-01-17

申请号：US11278487

申请日：2006-04-03

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang

IPC分类号： H04N7/12 ,  H04N11/02 ,  H04N11/04 ,  H04B1/66

CPC分类号： G06K9/4671 ,  G06K9/00711 ,  G06T7/215

摘要： Systems and methods to generate a motion attention model of a video data sequence are described. In one aspect, a motion saliency map B is generated to precisely indicate motion attention areas for each frame in the video data sequence. The motion saliency maps are each based on intensity I, spatial coherence Cs, and temporal coherence Ct values. These values are extracted from each block or pixel in motion fields that are extracted from the video data sequence. Brightness values of detected motion attention areas in each frame are accumulated to generate, with respect to time, the motion attention model.

摘要翻译： 描述了生成视频数据序列的运动注意模型的系统和方法。 在一个方面，生成运动显着图B以精确地指示视频数据序列中的每个帧的运动注意区域。 运动显着图分别基于强度I，空间相干Cs和时间相干Ct值。 从从视频数据序列提取的运动场中的每个块或像素中提取这些值。 每个帧中检测到的运动关注区域的亮度值被累积，以相对于时间产生运动注意力模型。

公开(公告)号：US08086549B2

公开(公告)日：2011-12-27

申请号：US11958050

申请日：2007-12-17

申请人： Guo-Jun Qi ,  Xian-Sheng Hua ,  Yong Rui ,  Hong-Jiang Zhang ,  Shipeng Li

发明人： Guo-Jun Qi ,  Xian-Sheng Hua ,  Yong Rui ,  Hong-Jiang Zhang ,  Shipeng Li

IPC分类号： G06F15/18

CPC分类号： G06N99/005

摘要： Multi-label active learning may entail training a classifier with a set of training samples having multiple labels per sample. In an example embodiment, a method includes accepting a set of training samples, with the set of training samples having multiple respective samples that are each respectively associated with multiple labels. The set of training samples is analyzed to select a sample-label pair responsive to at least one error parameter. The selected sample-label pair is then submitted to an oracle for labeling.

摘要翻译： 多标签主动学习可能需要对分类器训练一组具有每个样本的多个标签的训练样本。 在示例实施例中，一种方法包括接受一组训练样本，其中该组训练样本具有多个相应样本，每个样本分别与多个标签相关联。 分析该组训练样本以响应于至少一个误差参数来选择样本标签对。 然后将选定的样品标签对提交给oracle进行标记。

公开(公告)号：US07986372B2

公开(公告)日：2011-07-26

申请号：US10910803

申请日：2004-08-02

申请人： Yu-Fei Ma ,  Bin Lin ,  Zhike Kong ,  Xinli Zou ,  Wei-Ying Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Bin Lin ,  Zhike Kong ,  Xinli Zou ,  Wei-Ying Ma ,  Hong-Jiang Zhang

IPC分类号： H04N5/14 ,  H04N9/64

CPC分类号： G11B27/28 ,  G06F17/30793 ,  G06F17/30802 ,  G06F17/30849 ,  G06K9/00711 ,  G11B27/10

摘要： Systems and methods for smart media content thumbnail extraction are described. In one aspect program metadata is generated from recorded video content. The program metadata includes one or more key-frames from one or more corresponding shots. An objectively representative key-frame is identified from among the key-frames as a function of shot duration and frequency of appearance of key-frame content across multiple shots. The objectively representative key-frame is an image frame representative of the recorded video content. A thumbnail is created from the objectively representative key-frame.

摘要翻译： 描述了用于智能媒体内容缩略图提取的系统和方法。 在一个方面，节目元数据是从记录的视频内容生成的。 程序元数据包括来自一个或多个相应镜头的一个或多个关键帧。 从关键帧中识别出客观上代表性的关键帧作为多个镜头中的关键帧内容的拍摄持续时间和出现频率的函数。 客观代表的关键帧是表示记录的视频内容的图像帧。 从客观代表的关键帧创建缩略图。

公开(公告)号：US20100074537A1

公开(公告)日：2010-03-25

申请号：US12237298

申请日：2008-09-24

申请人： Xian-Sheng Hua ,  Guo-Jun Qi ,  Yong Rui ,  Hong-Jiang Zhang

发明人： Xian-Sheng Hua ,  Guo-Jun Qi ,  Yong Rui ,  Hong-Jiang Zhang

IPC分类号： G06K9/62

CPC分类号： G06K9/469 ,  G06K9/6297

摘要： Kernelized spatial-contextual image classification is disclosed. One embodiment comprises generating a first spatial-contextual model to represent a first image, the first spatial-contextual model having a plurality of interconnected nodes arranged in a first pattern of connections with each node connected to at least one other node, generating a second spatial-contextual model to represent a second image using the first pattern of connections, and estimating the distance between corresponding nodes in the first spatial-contextual model and the second spatial-contextual model based on a relationship with adjacent connected nodes to determine a distance between the first image and the second image.

摘要翻译： 公开了内核空间上下文图像分类。 一个实施例包括生成第一空间上下文模型以表示第一图像，第一空间上下文模型具有以与连接到至少一个其他节点的每个节点连接的第一连接方式布置的多个互连节点，产生第二空间 - 使用所述第一连接模式来表示第二图像，以及基于与相邻连接节点的关系来估计所述第一空间 - 上下文模型中的对应节点与所述第二空间 - 上下文模型之间的距离，以确定所述第二图像之间的距离 第一个图像和第二个图像。

公开(公告)号：US07636768B2

公开(公告)日：2009-12-22

申请号：US11025255

申请日：2004-12-29

申请人： Yudong Yang ,  Hong-Jiang Zhang

发明人： Yudong Yang ,  Hong-Jiang Zhang

IPC分类号： G06F15/16 ,  G06F17/00

CPC分类号： H04L65/4084 ,  H04L29/06 ,  H04L29/06027 ,  H04L65/80 ,  H04L67/2823 ,  H04L67/2828 ,  H04L69/329

摘要： Methods and systems for generic adaptive multimedia content delivery are described. In one embodiment, a novel framework features an abstract content model and an abstract adaptive delivery decision engine. The abstract content model recognizes important aspects of contents while hiding their physical details from other parts of the framework. The decision engine then makes content adaptation plans based on the abstracted model of the contents and needs little knowledge of any physical details of the actual contents. Thus, under the same framework, adaptive delivery of generic contents is possible.

摘要翻译： 描述了通用自适应多媒体内容传送的方法和系统。 在一个实施例中，新颖的框架具有抽象内容模型和抽象自适应递送决策引擎。 抽象内容模型识别内容的重要方面，同时将其物理细节从框架的其他部分隐藏起来。 然后，决策引擎基于内容的抽象模型进行内容适配计划，并且对实际内容的任何物理细节的了解不大。 因此，在相同的框架下，通用内容的自适应传递是可能的。

公开(公告)号：US20090122878A1

公开(公告)日：2009-05-14

申请号：US12356031

申请日：2009-01-19

申请人： Tianming Liu ,  Hong-Jiang Zhang ,  Wei Qi

发明人： Tianming Liu ,  Hong-Jiang Zhang ,  Wei Qi

IPC分类号： H04N7/26

CPC分类号： H04L65/80 ,  H04L29/06027 ,  H04L65/602 ,  H04L65/607 ,  H04N19/132 ,  H04N19/137 ,  H04N19/152 ,  H04N19/159 ,  H04N19/172 ,  H04N19/34 ,  H04N19/587 ,  H04N19/61 ,  H04N19/87 ,  H04N21/234327 ,  H04N21/2401 ,  H04N21/2402 ,  H04N21/2662 ,  H04N21/6373

摘要： Various embodiments provide methods and systems for streaming data that can facilitate streaming during bandwidth fluctuations in a manner that can enhance the user experience. In one aspect, a forward-shifting technique is utilized to buffer data that is to be streamed, e.g. an enhancement layer in a FGS stream. Various techniques can drop layers actively when bandwidth is constant. The saved bandwidth can then be used to pre-stream enhancement layer portions. In another aspect, a content-aware decision can be made as to how to drop enhancement layers when bandwidth decreases. During periods of decreasing bandwidth, if a video segment does not contain important content, the enhancement layers will be dropped to keep the forward-shifting of the enhancement layer unchanged. If the enhancement layer does contain important content, it will be transmitted later when bandwidth increases.

摘要翻译： 各种实施例提供用于流式传输数据的方法和系统，其可以以可以增强用户体验的方式促进带宽波动期间的流传输。 在一个方面，使用前向移位技术来缓冲要流式传输的数据。 FGS流中的增强层。 当带宽恒定时，各种技术可以主动降层。 然后可以使用保存的带宽来预先加密增强层部分。 在另一方面，可以做出关于当带宽减小时如何降低增强层的内容感知决定。 在带宽减小期间，如果视频段不包含重要内容，则增强层将被丢弃，以保持增强层的前向移动不变。 如果增强层确实包含重要内容，则当带宽增加时，将会传输。

公开(公告)号：US20090083010A1

公开(公告)日：2009-03-26

申请号：US12030616

申请日：2008-02-13

申请人： Guo-Jun Qi ,  Xian-Sheng Hua ,  Yong Rui ,  Hong-Jiang Zhang ,  Shipeng Li

发明人： Guo-Jun Qi ,  Xian-Sheng Hua ,  Yong Rui ,  Hong-Jiang Zhang ,  Shipeng Li

IPC分类号： G06F17/10

CPC分类号： G06F17/30799 ,  G06K9/00711

摘要： Correlative multi-label image annotation may entail annotating an image by indicating respective labels for respective concepts. In an example embodiment, a classifier is to annotate an image by implementing a labeling function that maps an input feature space and a label space to a combination feature vector. The combination feature vector models both features of individual ones of the concepts and correlations among the concepts.

摘要翻译： 相关多标签图像注释可能需要通过针对相应概念指示相应的标签来注释图像。 在示例实施例中，分类器是通过实现将输入特征空间和标签空间映射到组合特征向量的标记功能来注释图像。 组合特征向量模拟各个概念的特征和概念之间的相关性。

公开(公告)号：US07471827B2

公开(公告)日：2008-12-30

申请号：US10688471

申请日：2003-10-16

申请人： Xing Xie ,  Wei-Ying Ma ,  Hong-Jiang Zhang ,  Liu Hao

发明人： Xing Xie ,  Wei-Ying Ma ,  Hong-Jiang Zhang ,  Liu Hao

IPC分类号： G06K9/34

CPC分类号： G06F17/30905

摘要： Systems and methods for automatic generation of a browsing path across image content to present areas with high attention value are described. In particular, an image is modeled via multiple visual attentions to create a respective set of attention objects for each modeled attention. The attention objects and their respective attributes are analyzed to generate a browsing path to select ones of the attention objects. The browsing path is generated to optimize the rate of information gain from the attention objects as a function of information unit cost in terms of time constraints associated with multiple image browsing modes.

摘要翻译： 描述了跨越图像内容自动生成浏览路径以呈现具有高注意力值的区域的系统和方法。 特别地，通过多个视觉注意来建模图像，以为每个建模的注意创建相应的一组关注对象。 分析注意对象及其各自的属性，生成浏览路径以选择注意对象。 生成浏览路径以根据与多个图像浏览模式相关联的时间约束来优化来自注意对象的信息增益的速率作为信息单元成本的函数。

公开(公告)号：US07400761B2

公开(公告)日：2008-07-15

申请号：US10676519

申请日：2003-09-30

申请人： Yu-Fei Ma ,  Hong-Jiang Zhang

发明人： Yu-Fei Ma ,  Hong-Jiang Zhang

IPC分类号： G06K9/34

CPC分类号： G06K9/3233

摘要： Systems and methods for image attention analysis are described. In one aspect, image attention is modeled by preprocessing an image to generate a quantized set of image blocks. A contrast-based saliency map for modeling one-to-three levels of image attention is then generated from the quantized image blocks.

摘要翻译： 描述了用于图像注意分析的系统和方法。 在一个方面，通过对图像进行预处理以生成量化的图像块集来建模图像。 然后从量化的图像块生成用于建模一到三级图像注意的基于对比度的显着图。

公开(公告)号：US07349895B2

公开(公告)日：2008-03-25

申请号：US10969326

申请日：2004-10-20

申请人： Wen-Yin Liu ,  Hong-Jiang Zhang

发明人： Wen-Yin Liu ,  Hong-Jiang Zhang

IPC分类号： G06F17/30

CPC分类号： G06F17/30265 ,  G06F17/30247 ,  Y10S707/99933 ,  Y10S707/99934

摘要： A multimedia object retrieval and annotation system integrates an annotation process with object retrieval and relevance feedback processes. The annotation process annotates multimedia objects, such as digital images, with semantically relevant keywords. The annotation process is performed in background, hidden from the user, as the user conducts normal searches. The annotation process is “semi-automatic” in that it utilizes both keyword-based information retrieval and content-based image retrieval techniques to automatically search for multimedia objects, and then encourages users to provide feedback on the retrieved objects. The user identifies objects as either relevant or irrelevant to the query keywords and based on this feedback, the system automatically annotates the objects with semantically relevant keywords and/or updates associations between the keywords and objects. As the retrieval-feedback-annotation cycle is repeated, the annotation coverage and accuracy of future searches continues to improve.

摘要翻译： 多媒体对象检索和注释系统将注释过程与对象检索和相关性反馈过程相结合。 注释过程用语义相关的关键字注释多媒体对象，如数字图像。 注释过程在用户进行正常搜索时在后台执行，隐藏在用户身上。 注释过程是“半自动的”，它利用基于关键词的信息检索和基于内容的图像检索技术来自动搜索多媒体对象，然后鼓励用户对检索到的对象提供反馈。 用户将对象识别为与查询关键字相关或不相关的对象，并且基于该反馈，系统使用语义相关的关键字自动注释对象并且/或更新关键字和对象之间的关联。 随着检索反馈注释周期的重复，未来搜索的注释覆盖率和准确性将继续改善。