公开(公告)号：US20110191334A1

公开(公告)日：2011-08-04

申请号：US12700613

申请日：2010-02-04

申请人： Xian-Sheng Hua ,  Jingdong Wang

发明人： Xian-Sheng Hua ,  Jingdong Wang

IPC分类号： G06F17/30 ,  G06F3/048

CPC分类号： G06F3/048 ,  G06F16/00

摘要： The present disclosure describes a user interface and techniques to use the user interface to specify user search intent for color layout image search. In one aspect, a user interface is comprised of a color map control, a plurality of controls to draw a color layout, and a drawing canvas upon which to draw. The controls used to draw the color layout include shape preserving and shape modifying operations as wells as editing operations. In this way a color layout may be automatically generated with drawing semantics. The user interface may also be integrated with text search engines that perform text search on text metadata tags associated with digital images.

摘要翻译： 本公开描述了用户界面和使用用户界面指定用于颜色布局图像搜索的用户搜索意图的技术。 在一个方面，用户界面包括颜色映射控件，绘制颜色布局的多个控件和绘制画布。 用于绘制颜色布局的控件包括形状保留和形状修改操作以及编辑操作。 以这种方式，可以使用绘制语义自动生成颜色布局。 用户界面还可以与对与数字图像相关联的文本元数据标签执行文本搜索的文本搜索引擎进行集成。

公开(公告)号：US20100284625A1

公开(公告)日：2010-11-11

申请号：US12436783

申请日：2009-05-07

申请人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Hao Xu

发明人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Hao Xu

IPC分类号： G06K9/72

CPC分类号： G06K9/00664 ,  G06F17/30265 ,  G06F17/30719 ,  G06K9/6255

摘要： Described is a technology for computing visual and textual summaries for tagged image collections. Heterogeneous affinity propagation is used to together identify both visual and textual exemplars. The heterogeneous affinity propagation finds the exemplars for relational heterogeneous data (e.g., images and words) by considering the relationships (e.g., similarities) within pairs of images, pairs of words, and relationships of words to images (affinity) in an integrated manner.

摘要翻译： 描述了一种用于计算标记图像集合的视觉和文本摘要的技术。 异质亲和度传播用于一起识别视觉和文本样本。 异构亲和度传播通过考虑图像成对，单词之间的关系（例如，相似度）以及单词与图像的关系（亲和性）以集成的方式，找到关系异构数据（例如，图像和单词）的示例。

公开(公告)号：US20100142803A1

公开(公告)日：2010-06-10

申请号：US12329293

申请日：2008-12-05

申请人： Jingdong Wang ,  Shipeng Li ,  Xian-Sheng Hua ,  Yinghai Zhao

发明人： Jingdong Wang ,  Shipeng Li ,  Xian-Sheng Hua ,  Yinghai Zhao

IPC分类号： G06K9/62

CPC分类号： G06K9/00718 ,  G06K9/6297

摘要： This disclosure describes various exemplary method and computer program products for transductive multi-label classification in detecting video concepts for information retrieval. This disclosure describes utilizing a hidden Markov random field formulation to detect labels for concepts in a video content and modeling a multi-label interdependence between the labels by a pairwise Markov random field. The process groups the labels into several parts to speed up a labeling inference and calculates a conditional probability score for the labels, the conditional probability scores are ordered for ranking in a video retrieval evaluation.

摘要翻译： 本公开描述了用于检测用于信息检索的视频概念的用于转换多标签分类的各种示例性方法和计算机程序产品。 本公开描述了利用隐马尔科夫随机场公式来检测视频内容中的概念的标签，并通过成对的马尔可夫随机场对标签之间的多标签相互依赖进行建模。 该过程将标签分组成几个部分，以加快标签推理，并计算标签的条件概率分数，条件概率分数被排序用于视频检索评估中的排名。

公开(公告)号：US20140321761A1

公开(公告)日：2014-10-30

申请号：US14324375

申请日：2014-07-07

申请人： Jingdong Wang ,  Xian-Sheng Hua

发明人： Jingdong Wang ,  Xian-Sheng Hua

IPC分类号： G06F17/30 ,  G06K9/62

摘要： Techniques for intelligent image search results summarization and browsing scheme are described. Images having visual attributes are evaluated for similarities based in part on their visual attributes. At least one preference score indicating a probability of an image to be selected into a summary is calculated for each image. Images are selected based on the similarity of the selected images to the other images and the preference scores of the selected images. A summary of the plurality of images is generated including the selected one individual image.

摘要翻译： 描述了智能图像搜索结果汇总和浏览方案的技术。 根据其视觉属性，对具有视觉属性的图像进行相似度的评估。 针对每个图像计算指示将图像选择为概要的概率的至少一个偏好分数。 基于所选择的图像与其他图像的相似度以及所选图像的偏好分数来选择图像。 生成包括所选择的一个单独图像的多个图像的概要。

公开(公告)号：US08392430B2

公开(公告)日：2013-03-05

申请号：US12565313

申请日：2009-09-23

申请人： Xian-Sheng Hua ,  Jingdong Wang ,  Hao Xu

发明人： Xian-Sheng Hua ,  Jingdong Wang ,  Hao Xu

IPC分类号： G06F17/30

CPC分类号： G06F17/3053 ,  G06F17/30265

摘要： The concept-structured image search technique described herein pertains to a technique for enabling a user to indicate their semantic intention and then retrieve and rank images from a database or other image set according to this intention. The concept-structured image search technique described herein includes a new interface for image search. With this interface, a user can freely type several key textual words in arbitrary positions on a blank image, and also describe a region for each keyword that indicates its influence scope, which is called concept structure herein. The concept-structured image search technique will return and rank images that are in accordance with the concept structure indicated by the user. One embodiment of the technique can be used to create a synthesized image without actually using the synthesized image to perform a search of an image set.

摘要翻译： 本文描述的概念结构图像搜索技术涉及一种使用户能够指示其语义意图，然后根据该意图从数据库或其他图像集中检索和排列图像的技术。 本文所述的概念结构图像搜索技术包括用于图像搜索的新界面。 通过该接口，用户可以在空白图像上任意位置自由地键入几个关键文本字，并且还描述指示其影响范围的每个关键字的区域，这在本文中被称为概念结构。 概念结构图像搜索技术将返回并对与用户指示的概念结构相一致的图像进行排序。 该技术的一个实施例可以用于创建合成图像而不实际使用合成图像来执行图像集的搜索。

公开(公告)号：US08370363B2

公开(公告)日：2013-02-05

申请号：US13091323

申请日：2011-04-21

申请人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Jing Wang

发明人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Jing Wang

IPC分类号： G06F17/30

CPC分类号： G06F17/30979

摘要： A hybrid search method may be used to identify information responsive to a query. A search may be performed utilizing a neighborhood graph and a partitioning tree. The partitioning tree may be searched to select one or more pivots that may be used to guide a subsequent search in the neighborhood graph. Once the search in the neighborhood graph is unable to identify nearest neighbors in closer proximity to the query, the search may be switched to the partitioning tree. The partitioning tree may then be searched to select pivots that may be used to guide subsequent searches in the neighborhood graph. The searches performed in the partitioning tree and/or the neighborhood graph may be conducted utilizing an iterative algorithm.

摘要翻译： 可以使用混合搜索方法来识别响应于查询的信息。 可以使用邻域图和分区树来执行搜索。 可以搜索分区树以选择可用于指导邻域图中的后续搜索的一个或多个枢轴。 一旦邻域图中的搜索无法识别更靠近查询的最近邻居，则可以将搜索切换到分区树。 然后可以搜索分区树以选择可用于指导邻域图中的后续搜索的枢轴。 可以使用迭代算法来执行在分区树和/或邻域图中执行的搜索。

公开(公告)号：US20120271833A1

公开(公告)日：2012-10-25

申请号：US13091323

申请日：2011-04-21

申请人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Jing Wang

发明人： Jingdong Wang ,  Xian-Sheng Hua ,  Shipeng Li ,  Jing Wang

IPC分类号： G06F17/30

CPC分类号： G06F17/30979

摘要： A hybrid search method may be used to identify information responsive to a query. A search may be performed utilizing a neighborhood graph and a partitioning tree. The partitioning tree may be searched to select one or more pivots that may be used to guide a subsequent search in the neighborhood graph. Once the search in the neighborhood graph is unable to identify nearest neighbors in closer proximity to the query, the search may be switched to the partitioning tree. The partitioning tree may then be searched to select pivots that may be used to guide subsequent searches in the neighborhood graph. The searches performed in the partitioning tree and/or the neighborhood graph may be conducted utilizing an iterative algorithm.

摘要翻译： 可以使用混合搜索方法来识别响应于查询的信息。 可以使用邻域图和分区树来执行搜索。 可以搜索分区树以选择可用于指导邻域图中的后续搜索的一个或多个枢轴。 一旦邻域图中的搜索无法识别更靠近查询的最近邻居，则可以将搜索切换到分区树。 然后可以搜索分区树以选择可用于指导邻域图中的后续搜索的枢轴。 可以使用迭代算法来执行在分区树和/或邻域图中执行的搜索。

公开(公告)号：US20100158412A1

公开(公告)日：2010-06-24

申请号：US12341953

申请日：2008-12-22

申请人： Jingdong Wang ,  Shipeng Li ,  Xian Sheng Hua ,  Yinghai Zhao

发明人： Jingdong Wang ,  Shipeng Li ,  Xian Sheng Hua ,  Yinghai Zhao

IPC分类号： G06K9/54 ,  G06F17/30

CPC分类号： G06K9/00624 ,  G06F17/3025

摘要： This disclosure describes various exemplary user interfaces, methods, and computer program products for the interactively ranking image search results refinement method using a color layout. The method includes receiving a text query for an image search, presenting image search results in a structured presentation based on the text query and information from an interest color layout. The process creates image search results that may be selected by the user based on color selection palettes or color layout specification schemes. Then the process ranks the image search results by sorting the results according to similarity scores between color layouts from the image search results and the interest color layout from a user based on the color selection palettes and the color layout specification schemes.

摘要翻译： 本公开描述了使用颜色布局的用于交互式排序的图像搜索结果细化方法的各种示例性用户界面，方法和计算机程序产品。 该方法包括接收用于图像搜索的文本查询，基于文本查询和来自兴趣颜色布局的信息在结构化表示中呈现图像搜索结果。 该过程创建可以由用户基于颜色选择调色板或颜色布局规范方案来选择的图像搜索结果。 然后，该过程通过根据来自图像搜索结果的颜色布局与基于颜色选择调色板和颜色布局规范方案的用户的兴趣颜色布局之间的相似性分数来排序结果来排序图像搜索结果。

公开(公告)号：US20100082614A1

公开(公告)日：2010-04-01

申请号：US12235509

申请日：2008-09-22

申请人： Linjun Yang ,  Jingdong Wang ,  Xian-Sheng Hua ,  Xinmei Tian

发明人： Linjun Yang ,  Jingdong Wang ,  Xian-Sheng Hua ,  Xinmei Tian

IPC分类号： G06F7/06 ,  G06F17/30

CPC分类号： G06F17/30802 ,  G06F17/30817 ,  G06K9/6256 ,  G06K9/6259 ,  G06K9/6296

摘要： A general framework for video search reranking is disclosed which explicitly formulates reranking into a global optimization problem from the Bayesian perspective. Under this framework, with two novel pair-wise ranking distances, two effective video search reranking methods, hinge reranking and preference strength reranking, are disclosed. Experiments conducted on the TRECVID dataset have demonstrated that the disclosed methods outperform several existing reranking approaches.

摘要翻译： 披露了视频搜索重新排列的一般框架，从贝叶斯角度明确地将重新排列到全局优化问题中。 在这个框架下，通过两个新的成对排名距离，公开了两个有效的视频搜索重新排序方法，铰链重新排列和优先权重新排序。 在TRECVID数据集上进行的实验表明，所公开的方法优于现有的几种重新排序方法。

公开(公告)号：US09411830B2

公开(公告)日：2016-08-09

申请号：US13393791

申请日：2011-11-24

申请人： Tao Mei ,  Jingdong Wang ,  Shipeng Li ,  Yang Wang

发明人： Tao Mei ,  Jingdong Wang ,  Shipeng Li ,  Yang Wang

IPC分类号： G06F17/30 ,  G06F3/0488 ,  G06F3/16

CPC分类号： G06F17/30277 ,  G06F3/0488 ,  G06F3/16 ,  G06F17/30259

摘要： A facility for visual search on a mobile device takes advantage of multi-modal and multi-touch input on the mobile device. By extracting lexical entities from a spoken search query and matching the lexical entities to image tags, the facility provides candidate images for each entity. Selected ones of the candidate images are used to construct a composite visual query image on a query canvas. The relative size and position of the selected candidate images in the composite visual query image, which need not be an existing image, contribute to a definition of a context of the composite visual query image being submitted for context-aware visual search.

摘要翻译： 用于在移动设备上进行视觉搜索的设施利用移动设备上的多模式和多点触摸输入。 通过从口语搜索查询中提取词汇实体并将词汇实体与图像标签进行匹配，该设施为每个实体提供候选图像。 所选择的候选图像用于在查询画布上构建复合视觉查询图像。 复合视觉查询图像中所选择的候选图像的相对大小和位置不需要是现有图像，有助于为上下文感知视觉搜索提交的复合视觉查询图像的上下文的定义。