公开(公告)号：US20120143797A1

公开(公告)日：2012-06-07

申请号：US12961124

申请日：2010-12-06

申请人： Meng Wang ,  Xian-Sheng Hua ,  Bo Liu

发明人： Meng Wang ,  Xian-Sheng Hua ,  Bo Liu

IPC分类号： G06F15/18 ,  G06N5/02

CPC分类号： G06N20/00

摘要： Labels for unlabeled media samples may be determined automatically. Characteristics and/or features of an unlabeled media sample are detected and used to iteratively optimize a distance metric and one or more labels for the unlabeled media sample according to an algorithm. The labels may be used to produce training data for a machine learning process.

摘要翻译： 可以自动确定未标记的介质样品的标签。 检测未标记的媒体样本的特征和/或特征，并用于根据算法对未标记的媒体样本的距离度量和一个或多个标签进行迭代优化。 这些标签可用于产生用于机器学习过程的训练数据。

公开(公告)号：US08180766B2

公开(公告)日：2012-05-15

申请号：US12235509

申请日：2008-09-22

申请人： Linjun Yang ,  Jingdong Wang ,  Xian-Sheng Hua ,  Xinmei Tian

发明人： Linjun Yang ,  Jingdong Wang ,  Xian-Sheng Hua ,  Xinmei Tian

IPC分类号： G06F17/30 ,  G06F7/00

CPC分类号： G06F17/30802 ,  G06F17/30817 ,  G06K9/6256 ,  G06K9/6259 ,  G06K9/6296

摘要： A general framework for video search reranking is disclosed which explicitly formulates reranking into a global optimization problem from the Bayesian perspective. Under this framework, with two novel pair-wise ranking distances, two effective video search reranking methods, hinge reranking and preference strength reranking, are disclosed. Experiments conducted on the TRECVID dataset have demonstrated that the disclosed methods outperform several existing reranking approaches.

摘要翻译： 披露了视频搜索重新排列的一般框架，从贝叶斯角度明确地将重新排列到全局优化问题中。 在这个框架下，通过两个新的成对排名距离，公开了两个有效的视频搜索重新排序方法，铰链重新排列和优先权重新排序。 在TRECVID数据集上进行的实验表明，所公开的方法优于现有的几种重新排序方法。

公开(公告)号：US20110267544A1

公开(公告)日：2011-11-03

申请号：US12768769

申请日：2010-04-28

申请人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Lin-Xie Tang

发明人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Lin-Xie Tang

IPC分类号： H04N5/14

CPC分类号： H04N5/144 ,  G06K9/00751 ,  G11B27/034 ,  G11B27/105 ,  G11B27/28 ,  H04N19/159 ,  H04N19/25 ,  H04N19/61 ,  H04N21/816 ,  H04N21/84 ,  H04N21/8453 ,  H04N21/8455 ,  H04N21/8456 ,  H04N21/8549

摘要： Described is perceptually near-lossless video summarization for use in maintaining video summaries, which operates to substantially reconstruct an original video in a generally perceptually near-lossless manner. A video stream is summarized with little information loss by using a relatively very small piece of summary metadata. The summary metadata comprises an image set of synthesized mosaics and representative keyframes, audio data, and the metadata about video structure and motion. In one implementation, the metadata is computed and maintained (e.g., as a file) to summarize a relatively large video sequence, by segmenting a video shot into subshots, and selecting keyframes and mosaics based upon motion data corresponding to those subshots. The motion data is maintained as a semantic description associated with the image set. To reconstruct the video, the metadata is processed, including simulating motion using the image set and the semantic description, which recovers the audiovisual content without any significant information loss.

摘要翻译： 描述的是用于维护视频摘要的感知上的近无损视频摘要，其操作以基本上以感知方式近无损的方式基本上重建原始视频。 通过使用相对非常小的汇总元数据，视频流总结了很少的信息丢失。 摘要元数据包括合成马赛克的图像集和代表性的关键帧，音频数据以及关于视频结构和运动的元数据。 在一个实施方式中，通过将视频拍摄分割为子照片，并且基于与这些子图片相对应的运动数据来选择关键帧和马赛克，计算和维护元数据（例如，作为文件）来总结相对较大的视频序列。 运动数据被保持为与图像集相关联的语义描述。 为了重建视频，处理元数据，包括使用图像集和语义描述来模拟运动，其恢复视听内容，而没有任何显着的信息丢失。

公开(公告)号：US20110264700A1

公开(公告)日：2011-10-27

申请号：US12767114

申请日：2010-04-26

申请人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li

发明人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li

IPC分类号： G06F3/01 ,  G06K9/00 ,  G06F17/30 ,  G06K9/18

CPC分类号： G06K9/00751 ,  G06F17/30017 ,  G06F17/30828 ,  G06K9/00765 ,  G06Q30/02 ,  H04N21/4622 ,  H04N21/4722

摘要： Many internet users consume content through online videos. For example, users may view movies, television shows, music videos, and/or homemade videos. It may be advantageous to provide additional information to users consuming the online videos. Unfortunately, many current techniques may be unable to provide additional information relevant to the online videos from outside sources. Accordingly, one or more systems and/or techniques for determining a set of additional information relevant to an online video are disclosed herein. In particular, visual, textual, audio, and/or other features may be extracted from an online video (e.g., original content of the online video and/or embedded advertisements). Using the extracted features, additional information (e.g., images, advertisements, etc.) may be determined based upon matching the extracted features with content of a database. The additional information may be presented to a user consuming the online video.

摘要翻译： 许多互联网用户通过在线视频消费内容。 例如，用户可以观看电影，电视节目，音乐视频和/或自制视频。 向消费在线视频的用户提供附加信息可能是有利的。 不幸的是，许多当前的技术可能无法提供与来自外部来源的在线视频相关的附加信息。 因此，本文公开了用于确定与在线视频相关的一组附加信息的一个或多个系统和/或技术。 特别地，可以从在线视频（例如，在线视频和/或嵌入式广告的原始内容）提取视觉，文本，音频和/或其他特征。 使用所提取的特征，可以基于将提取的特征与数据库的内容相匹配来确定附加信息（例如，图像，广告等）。 附加信息可以被呈现给使用在线视频的用户。

公开(公告)号：US20110264641A1

公开(公告)日：2011-10-27

申请号：US12764917

申请日：2010-04-21

申请人： Linjun Yang ,  Rui Liu ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Rui Liu ,  Xian-Sheng Hua

IPC分类号： G06F17/30

CPC分类号： G06F17/3028

摘要： An informative priors image search result summarization system and method that summarizes image search results based on the image relevance (as determined by a search engine's initial ranking) and the image quality. Embodiments of the system and method cluster the image search results, rank images within each cluster based on a computed image score, and then select a summary image for the cluster. Each cluster is analyzed and an image in the cluster having the maximum image score is included in a selected summary collection. The image score is computed using the image relevance and the image quality, as well as a cluster coherence, a density, and a diversity. The selection of images from a collection of candidate images generates an image search result summarization, which is presented to a user. The summaries are presented to the user in a ranked order based on their image scores.

摘要翻译： 一种信息先验图像搜索结果汇总系统和方法，其基于图像相关性（由搜索引擎的初始排名确定）和图像质量来总结图像搜索结果。 系统和方法的实施例对图像搜索结果进行聚类，基于计算的图像分数对每个聚类内的图像进行排序，然后选择聚类的摘要图像。 分析每个群集，并且具有最大图像得分的群集中的图像被包括在所选择的摘要集合中。 使用图像相关性和图像质量以及簇相干性，密度和多样性来计算图像分数。 来自候选图像集合的图像的选择产生呈现给用户的图像搜索结果汇总。 这些摘要根据他们的图像分数以排序顺序呈现给用户。

公开(公告)号：US20110191336A1

公开(公告)日：2011-08-04

申请号：US12696591

申请日：2010-01-29

申请人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Hao Xu

发明人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Hao Xu

IPC分类号： G06F17/30

CPC分类号： G06F16/00

摘要： Techniques for image search using contextual information related to a user query are described. A user query including at least one of textual data or image data from a collection of data displayed by a computing device is received from a user. At least one other subset of data selected from the collection of data is received as contextual information that is related to and different from the user query. Data files such as image files are retrieved and ranked based on the user query to provide a pre-ranked set of data files. The pre-ranked data files are then ranked based on the contextual information to provide a re-ranked set of data files to be displayed to the user.

摘要翻译： 描述使用与用户查询相关的上下文信息进行图像搜索的技术。 从用户接收包括来自计算设备显示的数据集合的文本数据或图像数据中的至少一个的用户查询。 作为与用户查询相关并且不同于用户查询的上下文信息，接收到从数据收集中选出的至少一个其他数据子集。 基于用户查询来检索和排序诸如图像文件的数据文件，以提供预先排列的数据文件集合。 然后基于上下文信息对预先排序的数据文件进行排名，以提供要向用户显示的重新排列的数据文件集合。

公开(公告)号：US20110072048A1

公开(公告)日：2011-03-24

申请号：US12565313

申请日：2009-09-23

申请人： Xian-Sheng Hua ,  Jingdong Wang ,  Hao Xu

发明人： Xian-Sheng Hua ,  Jingdong Wang ,  Hao Xu

IPC分类号： G06F17/30

CPC分类号： G06F17/3053 ,  G06F17/30265

摘要： The concept-structured image search technique described herein pertains to a technique for enabling a user to indicate their semantic intention and then retrieve and rank images from a database or other image set according to this intention. The concept-structured image search technique described herein includes a new interface for image search. With this interface, a user can freely type several key textual words in arbitrary positions on a blank image, and also describe a region for each keyword that indicates its influence scope, which is called concept structure herein. The concept-structured image search technique will return and rank images that are in accordance with the concept structure indicated by the user. One embodiment of the technique can be used to create a synthesized image without actually using the synthesized image to perform a search of an image set.

摘要翻译： 本文描述的概念结构图像搜索技术涉及一种使用户能够指示其语义意图，然后根据该意图从数据库或其他图像集中检索和排列图像的技术。 本文描述的概念结构图像搜索技术包括用于图像搜索的新界面。 通过该接口，用户可以在空白图像上任意位置自由地键入几个关键文本字，并且描述指示其影响范围的每个关键字的区域，这在本文中被称为概念结构。 概念结构图像搜索技术将返回并对与用户指示的概念结构相一致的图像进行排序。 该技术的一个实施例可以用于创建合成图像而不实际使用合成图像来执行图像集的搜索。

公开(公告)号：US07840898B2

公开(公告)日：2010-11-23

申请号：US11264357

申请日：2005-11-01

申请人： Xian-Sheng Hua ,  Shipeng Li ,  Cai-Zhi Zhu

发明人： Xian-Sheng Hua ,  Shipeng Li ,  Cai-Zhi Zhu

IPC分类号： G06F3/00 ,  G06F3/048

CPC分类号： G06F17/30825 ,  G06F17/30843 ,  G06F17/30852 ,  G06K9/00711 ,  G11B27/105 ,  G11B27/11 ,  G11B27/329

摘要： Systems and methods are described for creating a video booklet that allows browsing and search of a video library. In one implementation, each video in the video library is divided into segments. Each segment is represented by a thumbnail image. Signatures of the representative thumbnails are extracted and stored in a database. The thumbnail images are then printed into an artistic paper booklet. A user can photograph one of the thumbnails in the paper booklet to automatically play the video segment corresponding to the thumbnail. Active shape modeling is used to identify and restore the photo information to the form of a thumbnail image from which a signature can be extracted for comparison with the database.

摘要翻译： 描述了用于创建允许浏览和搜索视频库的视频小册子的系统和方法。 在一个实现中，视频库中的每个视频被分成多个段。 每个片段由缩略图形式表示。 代表性缩略图的签名被提取并存储在数据库中。 然后将缩略图图像打印到艺术纸小册子中。 用户可以拍摄纸小册子中的一个缩略图，以自动播放与缩略图对应的视频段。 主动形状建模用于将照片信息识别并恢复为缩略图的形式，从中可以提取签名以与数据库进行比较。

公开(公告)号：US20100250190A1

公开(公告)日：2010-09-30

申请号：US12415722

申请日：2009-03-31

申请人： HongJiang Zhang ,  Dong Liu ,  Meng Wang ,  Linjun Yang ,  Xian-Sheng Hua

发明人： HongJiang Zhang ,  Dong Liu ,  Meng Wang ,  Linjun Yang ,  Xian-Sheng Hua

IPC分类号： G06F17/18

CPC分类号： G06F17/30038

摘要： Technologies for generating a boosted tag ranking for a media instance, the boosted tag ranking based on probabilistic relevance estimation and tag correlation refining. Such boosted tag rankings may be used for search result ranking, tag recommendation, and group recommendation.

摘要翻译： 用于生成媒体实例的增强标签排名的技术，基于概率相关性估计和标签相关性提炼的提升标签排名。 这种提升的标签排名可以用于搜索结果排名，标签推荐和组推荐。

公开(公告)号：US20100228691A1

公开(公告)日：2010-09-09

申请号：US12396885

申请日：2009-03-03

申请人： Linjun Yang ,  Lei Wu ,  Xian-Sheng Hua

发明人： Linjun Yang ,  Lei Wu ,  Xian-Sheng Hua

IPC分类号： G06F15/18 ,  G06N5/02 ,  G06F17/30

CPC分类号： G06F17/3089 ,  G06Q10/10

摘要： Technologies for recommending relevant tags for the tagging of media based on one or more initial tags provided for the media and based on a large quantity of other tagged media. Sample media as candidates for recommendation are provided by a set of weak rankers based on corresponding relevance measures in semantic and visual domains. The various samples provided by the weak rankers are then ranked based on relative order to provide a list of recommended tags for the media. The weak rankers provide sample tags based on relevance measures including tag co-occurrence, tag content correlation, and image-conditioned tag correlation.

摘要翻译： 基于为媒体提供的一个或多个初始标签并基于大量其他标记的媒体来推荐用于标记媒体的相关标签的技术。 作为推荐候选人的示例媒体由一组基于语义和视觉领域中的相应相关性度量的弱排名者提供。 然后由弱排名者提供的各种样本根据相关顺序排列，以提供媒体推荐标签的列表。 弱排名者基于相关性测量提供样本标签，包括标签共现，标签内容相关性和图像条件标签相关性。