公开(公告)号：US08903166B2

公开(公告)日：2014-12-02

申请号：US12690817

申请日：2010-01-20

申请人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

IPC分类号： G06K9/62

CPC分类号： G06K9/6252

摘要： This document describes techniques that utilize a learning method to generate a ranking model for use in image search systems. The techniques leverage textual information and visual information simultaneously when generating the ranking model. The tools are further configured to apply the ranking model responsive to receiving an image search query.

摘要翻译： 本文档描述了利用学习方法生成用于图像搜索系统的排名模型的技术。 该技术在生成排名模型时同时利用文本信息和视觉信息。 所述工具还被配置为响应于接收图像搜索查询来应用排序模型。

公开(公告)号：US08422802B2

公开(公告)日：2013-04-16

申请号：US13077735

申请日：2011-03-31

申请人： Linjun Yang ,  Darui Li ,  Xian-Sheng Hua ,  Hong-Jiang Zhang

发明人： Linjun Yang ,  Darui Li ,  Xian-Sheng Hua ,  Hong-Jiang Zhang

IPC分类号： G06K9/36

CPC分类号： G06K9/6223

摘要： Techniques for construction of a visual codebook are described herein. Feature points may be extracted from large numbers of images. In one example, images providing N feature points may be used to construct a codebook of K words. The centers of each of K clusters of feature points may be initialized. In a looping or iterative manner, an assignment step assigns each feature point to a cluster and an update step locates a center of each cluster. The feature points may be assigned to a cluster based on a lesser of a distance to a center of a previously assigned cluster and a distance to a center derived by operation of an approximate nearest neighbor algorithm having aspects of randomization. The loop terminates when the feature points have sufficiently converged to their respective clusters. Centers of the clusters represent visual words, which may be used to construct the visual codebook.

摘要翻译： 本文描述了构建视觉码本的技术。 特征点可以从大量图像中提取出来。 在一个示例中，提供N个特征点的图像可以用于构造K个字的码本。 可以初始化K个特征点中的每一个的中心。 以循环或迭代的方式，分配步骤将每个特征点分配给集群，并且更新步骤定位每个集群的中心。 可以基于距先前分配的簇的中心的距离中较小的一个特征点来分配特征点，以及通过具有随机化方面的近似最近邻算法的操作导出的到中心的距离。 当特征点已经充分收敛到它们各自的簇时，环路终止。 集群的中心表示视觉词，可用于构建视觉码本。

公开(公告)号：US20120254076A1

公开(公告)日：2012-10-04

申请号：US13076350

申请日：2011-03-30

申请人： Linjun Yang ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Xian-Sheng Hua

IPC分类号： G06F15/18

CPC分类号： G06F17/30274 ,  G06F17/30247 ,  G06F17/30268

摘要： Supervised re-ranking for visual search may include re-ordering images that are returned in response to a text-based image search by exploiting visual information included in the images. In one example, supervised re-ranking for visual search may include receiving a textual query, obtaining an initial ranking result including a plurality of images corresponding to the textual query, and representing the textual query by a visual context of the plurality of images. A query-independent re-ranking model may be trained based on visual re-ranking features of the plurality of images of the textual query in accordance with a supervised training algorithm.

摘要翻译： 视觉搜索的监督重新排序可以包括通过利用包括在图像中的视觉信息来重新排序响应于基于文本的图像搜索返回的图像。 在一个示例中，用于视觉搜索的监督重新排序可以包括接收文本查询，获得包括对应于文本查询的多个图像的初始排名结果，以及通过多个图像的视觉上下文来表示文本查询。 可以根据监督训练算法，基于文本查询的多个图像的视觉重新排列特征来训练不依赖于查询的重排序模型。

公开(公告)号：US20120102018A1

公开(公告)日：2012-04-26

申请号：US12911503

申请日：2010-10-25

申请人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

IPC分类号： G06F15/18 ,  G06F17/30

CPC分类号： G06F16/3347

摘要： An adaptation process is described to adapt a ranking model constructed for a broad-based search engine for use with a domain-specific ranking model. An example process identifies a ranking model for use with a broad-based search engine and modifies that ranking model for use with a new (or “target”) domain containing information pertaining to a specific topic.

摘要翻译： 描述适应过程以适应为基于广泛的搜索引擎构建的排名模型，以便与域特定排名模型一起使用。 示例过程识别用于基于广泛的搜索引擎的排名模型，并修改与包含与特定主题相关的信息的新（或“目标”）域一起使用的排名模型。

公开(公告)号：US20090083781A1

公开(公告)日：2009-03-26

申请号：US11859334

申请日：2007-09-21

申请人： Linjun Yang ,  Xian-Sheng Hua ,  Shipeng Li

发明人： Linjun Yang ,  Xian-Sheng Hua ,  Shipeng Li

IPC分类号： H04H20/00 ,  H04N7/00

CPC分类号： G11B27/105 ,  G06F16/70 ,  G11B27/3027 ,  H04H60/73 ,  H04H2201/90

摘要： Systems and methods for managing digital video data are described. The digital video data maybe managed by employing a computing device to extract metadata from the video file and calculate a unique video signature associated with the video file. The computing device then uploads the metadata and unique video signature to a server which stores the metadata in a lookup table according to the unique video signature.

摘要翻译： 描述用于管理数字视频数据的系统和方法。 数字视频数据可以通过使用计算设备从视频文件中提取元数据并且计算与视频文件相关联的唯一视频签名来管理。 然后，计算设备将元数据和唯一视频签名上传到根据唯一视频签名将元数据存储在查找表中的服务器。

公开(公告)号：US20140250110A1

公开(公告)日：2014-09-04

申请号：US13394425

申请日：2011-11-25

申请人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua ,  Shipeng Li

发明人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua ,  Shipeng Li

IPC分类号： G06F17/30

CPC分类号： G06F16/5866 ,  G06F16/2228 ,  G06F16/248 ,  G06F16/583 ,  G06F16/9535

摘要： Attractiveness of an image may be estimated by integrating extracted visual features with contextual cues pertaining to the image. Image attractiveness may be defined by the visual features (e.g., perceptual quality, aesthetic sensitivity, and/or affective tone) of elements contained within the image. Images may be indexed based on the estimated attractiveness, search results may be presented based on image attractiveness, and/or a user may elect, after receiving image search results, to re-rank the image search results by attractiveness.

摘要翻译： 图像的吸引力可以通过将提取的视觉特征与与图像有关的语境线索相结合来估计。 图像吸引力可以由包含在图像内的元素的视觉特征（例如感知质量，美学敏感度和/或情感色调）来定义。 可以基于估计的吸引力来索引图像，可以基于图像吸引力来呈现搜索结果，和/或用户可以在接收图像搜索结果之后选择通过吸引力重新排列图像搜索结果。

公开(公告)号：US20120321181A1

公开(公告)日：2012-12-20

申请号：US13163921

申请日：2011-06-20

申请人： Linjun Yang ,  Lifeng Shang ,  Xian-Sheng Hua ,  Fei Wang

发明人： Linjun Yang ,  Lifeng Shang ,  Xian-Sheng Hua ,  Fei Wang

IPC分类号： G06K9/62 ,  G06K9/00

CPC分类号： G06K9/6215 ,  G06F17/30784 ,  G06K9/00751 ,  G06K9/00758 ,  G06K9/4609 ,  G06K9/4652

摘要： A similarity of a first video to a second video may be identified automatically. Images are received from the videos, and divided into sub-images. The sub-images are evaluated based on a feature common to each of the sub-images. Binary representations of the images may be created based on the evaluation of the sub-images. A similarity of the first video to the second video may be determined based on a number of occurrences of a binary representation in the first video and the second video.

摘要翻译： 可以自动识别第一视频与第二视频的相似度。 从视频接收图像，并分成子图像。 基于每个子图像共有的特征来评估子图像。 可以基于子图像的评估来创建图像的二进制表示。 可以基于第一视频和第二视频中的二进制表示的出现次数来确定第一视频与第二视频的相似度。

公开(公告)号：US08219511B2

公开(公告)日：2012-07-10

申请号：US12391511

申请日：2009-02-24

申请人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

IPC分类号： G06F15/18 ,  G06F17/10 ,  G06N3/08

CPC分类号： G06N99/005

摘要： Techniques described herein create an accurate active-learning model that takes into account a sample selection bias of elements, such as images, selected for labeling by a user. These techniques select a first set of elements for labeling. Once a user labels these elements, the techniques calculate a sample selection bias of the selected elements and train a model that takes into account the sample selection bias. The techniques then select a second set of elements based, in part, on a sample selection bias of the elements. Again, once a user labels the second set of elements the techniques train the model while taking into account the calculated sample selection bias. Once the trained model satisfies a predefined stop condition, the techniques use the trained model to predict labels for the remaining unlabeled elements.

摘要翻译： 本文描述的技术创建了一种精确的主动学习模型，其考虑了由用户选择进行标签选择的元素（例如图像）的样本选择偏差。 这些技术选择用于标记的第一组元素。 一旦用户标记了这些元素，这些技术就会计算所选元素的样本选择偏差，并训练考虑样本选择偏倚的模型。 然后，技术部分地基于元素的样本选择偏差来选择第二组元素。 同样，一旦用户标记第二组元素，则该技术训练模型，同时考虑计算的样本选择偏差。 一旦训练的模型满足预定义的停止条件，该技术使用经过训练的模型来预测剩余的未标记元素的标签。

公开(公告)号：US20110176724A1

公开(公告)日：2011-07-21

申请号：US12690817

申请日：2010-01-20

申请人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua

IPC分类号： G06K9/62

CPC分类号： G06K9/6252

摘要： This document describes techniques that utilize a learning method to generate a ranking model for use in image search systems. The techniques leverage textual information and visual information simultaneously when generating the ranking model. The tools are further configured to apply the ranking model responsive to receiving an image search query.

摘要翻译： 本文档描述了利用学习方法生成用于图像搜索系统的排名模型的技术。 该技术在生成排名模型时同时利用文本信息和视觉信息。 所述工具还被配置为响应于接收图像搜索查询来应用排序模型。

公开(公告)号：US20100082614A1

公开(公告)日：2010-04-01

申请号：US12235509

申请日：2008-09-22

申请人： Linjun Yang ,  Jingdong Wang ,  Xian-Sheng Hua ,  Xinmei Tian

发明人： Linjun Yang ,  Jingdong Wang ,  Xian-Sheng Hua ,  Xinmei Tian

IPC分类号： G06F7/06 ,  G06F17/30

CPC分类号： G06F17/30802 ,  G06F17/30817 ,  G06K9/6256 ,  G06K9/6259 ,  G06K9/6296

摘要： A general framework for video search reranking is disclosed which explicitly formulates reranking into a global optimization problem from the Bayesian perspective. Under this framework, with two novel pair-wise ranking distances, two effective video search reranking methods, hinge reranking and preference strength reranking, are disclosed. Experiments conducted on the TRECVID dataset have demonstrated that the disclosed methods outperform several existing reranking approaches.

摘要翻译： 披露了视频搜索重新排列的一般框架，从贝叶斯角度明确地将重新排列到全局优化问题中。 在这个框架下，通过两个新的成对排名距离，公开了两个有效的视频搜索重新排序方法，铰链重新排列和优先权重新排序。 在TRECVID数据集上进行的实验表明，所公开的方法优于现有的几种重新排序方法。