公开(公告)号：US08346767B2

公开(公告)日：2013-01-01

申请号：US12764917

申请日：2010-04-21

申请人： Linjun Yang ,  Rui Liu ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Rui Liu ,  Xian-Sheng Hua

IPC分类号： G06F17/30 ,  G06F7/00

CPC分类号： G06F17/3028

摘要： An informative priors image search result summarization system and method that summarizes image search results based on the image relevance (as determined by a search engine's initial ranking) and the image quality. Embodiments of the system and method cluster the image search results, rank images within each cluster based on a computed image score, and then select a summary image for the cluster. Each cluster is analyzed and an image in the cluster having the maximum image score is included in a selected summary collection. The image score is computed using the image relevance and the image quality, as well as a cluster coherence, a density, and a diversity. The selection of images from a collection of candidate images generates an image search result summarization, which is presented to a user. The summaries are presented to the user in a ranked order based on their image scores.

摘要翻译： 一种信息先验图像搜索结果汇总系统和方法，其基于图像相关性（由搜索引擎的初始排名确定）和图像质量来总结图像搜索结果。 系统和方法的实施例对图像搜索结果进行聚类，基于计算的图像分数对每个聚类内的图像进行排序，然后选择聚类的摘要图像。 分析每个群集，并且具有最大图像得分的群集中的图像被包括在所选择的摘要集合中。 使用图像相关性和图像质量以及簇相干性，密度和多样性来计算图像分数。 来自候选图像集合的图像的选择产生呈现给用户的图像搜索结果汇总。 这些摘要根据他们的图像分数以排序顺序呈现给用户。

公开(公告)号：US20110264641A1

公开(公告)日：2011-10-27

申请号：US12764917

申请日：2010-04-21

申请人： Linjun Yang ,  Rui Liu ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Rui Liu ,  Xian-Sheng Hua

IPC分类号： G06F17/30

CPC分类号： G06F17/3028

摘要： An informative priors image search result summarization system and method that summarizes image search results based on the image relevance (as determined by a search engine's initial ranking) and the image quality. Embodiments of the system and method cluster the image search results, rank images within each cluster based on a computed image score, and then select a summary image for the cluster. Each cluster is analyzed and an image in the cluster having the maximum image score is included in a selected summary collection. The image score is computed using the image relevance and the image quality, as well as a cluster coherence, a density, and a diversity. The selection of images from a collection of candidate images generates an image search result summarization, which is presented to a user. The summaries are presented to the user in a ranked order based on their image scores.

摘要翻译： 一种信息先验图像搜索结果汇总系统和方法，其基于图像相关性（由搜索引擎的初始排名确定）和图像质量来总结图像搜索结果。 系统和方法的实施例对图像搜索结果进行聚类，基于计算的图像分数对每个聚类内的图像进行排序，然后选择聚类的摘要图像。 分析每个群集，并且具有最大图像得分的群集中的图像被包括在所选择的摘要集合中。 使用图像相关性和图像质量以及簇相干性，密度和多样性来计算图像分数。 来自候选图像集合的图像的选择产生呈现给用户的图像搜索结果汇总。 这些摘要根据他们的图像分数以排序顺序呈现给用户。

公开(公告)号：US09092520B2

公开(公告)日：2015-07-28

申请号：US13163921

申请日：2011-06-20

申请人： Linjun Yang ,  Lifeng Shang ,  Xian-Sheng Hua ,  Fei Wang

发明人： Linjun Yang ,  Lifeng Shang ,  Xian-Sheng Hua ,  Fei Wang

IPC分类号： G06K9/62 ,  G06K9/00 ,  G06F17/30

CPC分类号： G06K9/6215 ,  G06F17/30784 ,  G06K9/00751 ,  G06K9/00758 ,  G06K9/4609 ,  G06K9/4652

摘要： A similarity of a first video to a second video may be identified automatically. Images are received from the videos, and divided into sub-images. The sub-images are evaluated based on a feature common to each of the sub-images. Binary representations of the images may be created based on the evaluation of the sub-images. A similarity of the first video to the second video may be determined based on a number of occurrences of a binary representation in the first video and the second video.

摘要翻译： 可以自动识别第一视频与第二视频的相似度。 从视频接收图像，并分成子图像。 基于每个子图像共有的特征来评估子图像。 可以基于子图像的评估来创建图像的二进制表示。 可以基于第一视频和第二视频中的二进制表示的出现次数来确定第一视频与第二视频的相似度。

公开(公告)号：US08706674B2

公开(公告)日：2014-04-22

申请号：US13537802

申请日：2012-06-29

申请人： Linjun Yang ,  Lei Wu ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Lei Wu ,  Xian-Sheng Hua

IPC分类号： G06F19/00 ,  G06T1/00

CPC分类号： G06F17/3089 ,  G06Q10/10

摘要： Technologies for recommending relevant tags for the tagging of media based on one or more initial tags provided for the media and based on a large quantity of other tagged media. Sample media as candidates for recommendation are provided by a set of weak rankers based on corresponding relevance measures in semantic and visual domains. The various samples provided by the weak rankers are then ranked based on relative order to provide a list of recommended tags for the media. The weak rankers provide sample tags based on relevance measures including tag co-occurrence, tag content correlation, and image-conditioned tag correlation.

摘要翻译： 基于为媒体提供的一个或多个初始标签并基于大量其他标记的媒体来推荐用于标记媒体的相关标签的技术。 作为推荐候选人的示例媒体由一组基于语义和视觉领域中的相应相关性度量的弱排名者提供。 然后由弱排名者提供的各种样本根据相关顺序排列，以提供媒体推荐标签的列表。 弱排名者基于相关性测量提供样本标签，包括标签共现，标签内容相关性和图像条件标签相关性。

公开(公告)号：US08560517B2

公开(公告)日：2013-10-15

申请号：US13176279

申请日：2011-07-05

申请人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua ,  Yang Cai

发明人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua ,  Yang Cai

IPC分类号： G06F17/30

CPC分类号： G06F17/30277 ,  G06F17/30256

摘要： Some implementations provide techniques and arrangements to perform image retrieval. For example, some implementations identify an object of interest and a visual context in a first image. In some implementations, a second image that includes a second object of interest and a second visual context may be compared to the object of interest and the visual content, respectively, to determine whether the second image matches the first image.

摘要翻译： 一些实现提供执行图像检索的技术和布置。 例如，一些实现在第一图像中识别感兴趣的对象和视觉上下文。 在一些实施方案中，可以分别将包括感兴趣的第二对象和第二视觉上下文的第二图像与感兴趣对象和视觉内容进行比较，以确定第二图像是否匹配第一图像。

公开(公告)号：US20120251007A1

公开(公告)日：2012-10-04

申请号：US13077735

申请日：2011-03-31

申请人： Linjun Yang ,  Darui Li ,  Xian-Sheng Hua ,  Hong-Jiang Zhang

发明人： Linjun Yang ,  Darui Li ,  Xian-Sheng Hua ,  Hong-Jiang Zhang

IPC分类号： G06K9/46

CPC分类号： G06K9/6223

摘要： Techniques for construction of a visual codebook are described herein. Feature points may be extracted from large numbers of images. In one example, images providing N feature points may be used to construct a codebook of K words. The centers of each of K clusters of feature points may be initialized. In a looping or iterative manner, an assignment step assigns each feature point to a cluster and an update step locates a center of each cluster. The feature points may be assigned to a cluster based on a lesser of a distance to a center of a previously assigned cluster and a distance to a center derived by operation of an approximate nearest neighbor algorithm having aspects of randomization. The loop terminates when the feature points have sufficiently converged to their respective clusters. Centers of the clusters represent visual words, which may be used to construct the visual codebook.

摘要翻译： 本文描述了构建视觉码本的技术。 特征点可以从大量图像中提取出来。 在一个示例中，提供N个特征点的图像可以用于构造K个字的码本。 可以初始化K个特征点中的每一个的中心。 以循环或迭代的方式，分配步骤将每个特征点分配给集群，并且更新步骤定位每个集群的中心。 可以基于距先前分配的簇的中心的距离中较小的一个特征点来分配特征点，以及通过具有随机化方面的近似最近邻算法的操作导出的到中心的距离。 当特征点已经充分收敛到它们各自的簇时，环路终止。 集群的中心表示视觉词，可用于构建视觉码本。

公开(公告)号：US20100185624A1

公开(公告)日：2010-07-22

申请号：US12355795

申请日：2009-01-18

申请人： Meng Wang ,  Linjun Yang ,  Xian-Sheng Hua

发明人： Meng Wang ,  Linjun Yang ,  Xian-Sheng Hua

IPC分类号： G06F17/30

CPC分类号： G06F17/3025

摘要： Colorblind accessible image search technique embodiments are presented that re-rank the results of a relevance-ranked image search to account for the accessibility of the images to a colorblind person. This is accomplished by first computing a colorblind accessibility quantity for each image of interest in the search results. A colorblind accessibility quantity quantizes the degree to which color information is preserved when an image is perceived by a colorblind person viewing the image. It is computed by generating a colorblind version of an image that simulates how the image would appear to the colorblind person. An amount quantifying the loss of color information between the image and the colorblind version of the image is then estimated. This estimate is used to compute the colorblind accessibility quantity for the image. Once the colorblind accessibility quantities have been computed, the image search results are re-ranked based on these quantities.

摘要翻译： 呈现了彩色盲可访问图像搜索技术实施例，其对排序相关的图像搜索的结果进行重新排序，以便将图像的可访问性应用于彩色盲人。 这是通过首先计算搜索结果中感兴趣的每个图像的色盲辅助数量来实现的。 彩色可见量可以量化当查看图像的彩色盲人感知到图像时保留颜色信息的程度。 它通过生成图像的彩色版本来计算，该图像模拟图像将如何显示给彩色盲人。 然后估计量化图像和图像的彩色版本之间的颜色信息的损失的量。 该估计用于计算图像的色盲辅助数量。 一旦计算了色盲辅助数量，就会根据这些数量重新排列图像搜索结果。

公开(公告)号：US09443011B2

公开(公告)日：2016-09-13

申请号：US13110708

申请日：2011-05-18

申请人： Linjun Yang ,  Xian-Sheng Hua ,  Yang Cai

发明人： Linjun Yang ,  Xian-Sheng Hua ,  Yang Cai

IPC分类号： G06K9/46 ,  G06F17/30

CPC分类号： G06K9/4676 ,  G06F17/30796 ,  G06F17/30799 ,  G06K9/00671 ,  G06K9/00744 ,  G06K9/38 ,  G06K9/4642 ,  G06K9/4671 ,  G06K9/623

摘要： Techniques describe submitting a video clip as a query by a user. A process retrieves images and information associated with the images in response to the query. The process decomposes the video clip into a sequence of frames to extract the features in a frame and to quantize the extracted features into descriptive words. The process further tracks the extracted features as points in the frame, a first set of points to correspond to a second set of points in consecutive frames to construct a sequence of points. Then the process identifies the points that satisfy criteria of being stable points and being centrally located in the frame to represent the video clip as a bag of descriptive words for searching for images and information related to the video clip.

摘要翻译： 技术描述提交视频剪辑作为用户的查询。 响应于查询，进程检索与图像相关联的图像和信息。 该过程将视频剪辑分解成帧序列以提取帧中的特征并将提取的特征量化为描述性词。 该过程进一步跟踪提取的特征作为帧中的点，第一组点对应于连续帧中的第二组点以构成点序列。 然后，该过程识别满足稳定点的标准并且位于帧中心的点以将视频剪辑表示为用于搜索与视频剪辑相关的图像和信息的描述词的一袋。

公开(公告)号：US20130013578A1

公开(公告)日：2013-01-10

申请号：US13176279

申请日：2011-07-05

申请人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua ,  Yang Cai

发明人： Linjun Yang ,  Bo Geng ,  Xian-Sheng Hua ,  Yang Cai

IPC分类号： G06F17/30

CPC分类号： G06F17/30277 ,  G06F17/30256

摘要： Some implementations provide techniques and arrangements to perform image retrieval. For example, some implementations identify an object of interest and a visual context in a first image. In some implementations, a second image that includes a second object of interest and a second visual context may be compared to the object of interest and the visual content, respectively, to determine whether the second image matches the first image.

摘要翻译： 一些实现提供执行图像检索的技术和布置。 例如，一些实现在第一图像中识别感兴趣的对象和视觉上下文。 在一些实施方案中，可以分别将包括感兴趣的第二对象和第二视觉上下文的第二图像与感兴趣对象和视觉内容进行比较，以确定第二图像是否匹配第一图像。

公开(公告)号：US08239333B2

公开(公告)日：2012-08-07

申请号：US12396885

申请日：2009-03-03

申请人： Linjun Yang ,  Lei Wu ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Lei Wu ,  Xian-Sheng Hua

IPC分类号： G06F15/18

CPC分类号： G06F17/3089 ,  G06Q10/10

摘要： Technologies for recommending relevant tags for the tagging of media based on one or more initial tags provided for the media and based on a large quantity of other tagged media. Sample media as candidates for recommendation are provided by a set of weak rankers based on corresponding relevance measures in semantic and visual domains. The various samples provided by the weak rankers are then ranked based on relative order to provide a list of recommended tags for the media. The weak rankers provide sample tags based on relevance measures including tag co-occurrence, tag content correlation, and image-conditioned tag correlation.

摘要翻译： 基于为媒体提供的一个或多个初始标签并基于大量其他标记的媒体来推荐用于标记媒体的相关标签的技术。 作为推荐候选人的示例媒体由一组基于语义和视觉领域中的相应相关性度量的弱排名者提供。 然后由弱排名者提供的各种样本根据相关顺序排列，以提供媒体推荐标签的列表。 弱排名者基于相关性测量提供样本标签，包括标签共现，标签内容相关性和图像条件标签相关性。