公开(公告)号：US08553981B2

公开(公告)日：2013-10-08

申请号：US13109363

申请日：2011-05-17

申请人： Tao Mei ,  Ying-Qing Xu ,  Shipeng Li ,  Ning Zhang ,  Zheng Chen ,  Jian-Tao Sun

发明人： Tao Mei ,  Ying-Qing Xu ,  Shipeng Li ,  Ning Zhang ,  Zheng Chen ,  Jian-Tao Sun

IPC分类号： G06K9/34 ,  G06F7/00

CPC分类号： G06F17/30256 ,  G06F17/30047 ,  G06F17/30253 ,  G06F17/30259 ,  G06F17/30277 ,  G06K9/00335

摘要： A user may perform an image search on an object shown in an image. The user may use a mobile device to display an image. In response to displaying the image, the client device may send the image to a visual search system for image segmentation. Upon receiving a segmented image from the visual search system, the client device may display the segmented image to the user who may select one or more segments including an object of interest to instantiate a search. The visual search system may formulate a search query based on the one or more selected segments and perform a search using the search query. The visual search system may then return search results to the client device for display to the user.

摘要翻译： 用户可以对图像中所示的对象执行图像搜索。 用户可以使用移动设备来显示图像。 响应于显示图像，客户端设备可以将图像发送到用于图像分割的视觉搜索系统。 在从视觉搜索系统接收到分割图像时，客户端设备可以向可以选择一个或多个包括感兴趣对象的片段的用户显示分割图像以实例化搜索。 视觉搜索系统可以基于一个或多个所选择的片段来制定搜索查询，并使用搜索查询来执行搜索。 然后，视觉搜索系统可以将搜索结果返回到客户端设备以供用户显示。

公开(公告)号：US20120294520A1

公开(公告)日：2012-11-22

申请号：US13109363

申请日：2011-05-17

申请人： Tao Mei ,  Shipeng Li ,  Ying-Qing Xu ,  Ning Zhang ,  Zheng Chen ,  Jian-Tao Sun

发明人： Tao Mei ,  Shipeng Li ,  Ying-Qing Xu ,  Ning Zhang ,  Zheng Chen ,  Jian-Tao Sun

IPC分类号： G06K9/34

CPC分类号： G06F17/30256 ,  G06F17/30047 ,  G06F17/30253 ,  G06F17/30259 ,  G06F17/30277 ,  G06K9/00335

摘要： A user may perform an image search on an object shown in an image. The user may use a mobile device to display an image. In response to displaying the image, the client device may send the image to a visual search system for image segmentation. Upon receiving a segmented image from the visual search system, the client device may display the segmented image to the user who may select one or more segments including an object of interest to instantiate a search. The visual search system may formulate a search query based on the one or more selected segments and perform a search using the search query. The visual search system may then return search results to the client device for display to the user.

摘要翻译： 用户可以对图像中所示的对象执行图像搜索。 用户可以使用移动设备来显示图像。 响应于显示图像，客户端设备可以将图像发送到用于图像分割的视觉搜索系统。 在从视觉搜索系统接收到分割图像时，客户端设备可以向可以选择一个或多个包括感兴趣对象的片段的用户显示分割图像以实例化搜索。 视觉搜索系统可以基于一个或多个所选择的片段来制定搜索查询，并使用搜索查询来执行搜索。 然后，视觉搜索系统可以将搜索结果返回到客户端设备以供用户显示。

公开(公告)号：US20140075393A1

公开(公告)日：2014-03-13

申请号：US13609259

申请日：2012-09-11

申请人： Tao Mei ,  Jingdong Wang ,  Shipeng Li ,  Jian-Tao Sun ,  Zheng Chen ,  Shiyang Lu

发明人： Tao Mei ,  Jingdong Wang ,  Shipeng Li ,  Jian-Tao Sun ,  Zheng Chen ,  Shiyang Lu

IPC分类号： G06F3/033

CPC分类号： G06F16/9032

摘要： An image-based text extraction and searching system extracts an image be selected by gesture input by a user and the associated image data and proximate textual data in response to the image selection. Extracted image data and textual data can be utilized to perform or enhance a computerized search. The system can determine one or more database search terms based on the textual data and generate at least a first search query proposal related to the image data and the textual data.

摘要翻译： 基于图像的文本提取和搜索系统响应于图像选择提取由用户通过手势输入选择的图像以及相关联的图像数据和邻近的文本数据。 提取的图像数据和文本数据可用于执行或增强计算机化搜索。 系统可以基于文本数据确定一个或多个数据库搜索项，并生成至少与图像数据和文本数据相关的第一搜索查询提案。

公开(公告)号：US20120109754A1

公开(公告)日：2012-05-03

申请号：US12939132

申请日：2010-11-03

申请人： Tao Mei ,  Xian-Sheng Hua ,  Ying-Qing Xu ,  Shipeng Li

发明人： Tao Mei ,  Xian-Sheng Hua ,  Ying-Qing Xu ,  Shipeng Li

IPC分类号： G06Q30/00 ,  G06F15/16

CPC分类号： G06Q30/0251 ,  G06Q30/0267

摘要： The sponsored multi-media blogging technique is an advertising-driven service on a computing device, such as a mobile phone, that makes the multi-media micro-blog or blog an effective carrier for advertising. The data collected while employing the sponsored multi-media blogging technique is used for user intent mining and increasing advertisement relevance for mobile advertising projects. The benefits to the sponsored multi-media blogging technique's users are a natural interface for composing multi-media micro-blogs/blogs and instant experience sharing, while the benefits to advertisers is the promoted brand impression from the contextual advertising in rich media micro-blogs/blogs.

摘要翻译： 赞助的多媒体博客技术是在诸如手机之类的计算设备上的广告驱动服务，使得多媒体微博或博客成为广告的有效载体。 采用赞助的多媒体博客技术收集的数据用于用户意图挖掘和增加移动广告项目的广告相关性。 赞助的多媒体博客技术用户的好处是构成多媒体微博/博客和即时体验共享的自然界面，而对广告客户的好处是从富媒体微博上下文广告中提升的品牌印象 /博客。

公开(公告)号：US08751472B2

公开(公告)日：2014-06-10

申请号：US13111132

申请日：2011-05-19

申请人： Tao Mei ,  Ying-Qing Xu ,  Shipeng Li ,  Jinfeng Zhuang ,  Bo Zhang ,  Peng Xu

发明人： Tao Mei ,  Ying-Qing Xu ,  Shipeng Li ,  Jinfeng Zhuang ,  Bo Zhang ,  Peng Xu

IPC分类号： G06F17/30

CPC分类号： G06F17/3053 ,  G06F17/30554 ,  G06Q30/02

摘要： A user behavior model provides personalized recommendations based in part on time and location, particularly to users of mobile devices. Entity types are ranked according to relevance to the user. Example entity types are restaurant, hotel, etc. The relevance may be based on reference to a large-scale database containing queries from other users. Additionally, entities within each entity type may be ranked based on relevance to the user and the time and location context. A user interface may display a ranked list of entity types, such as restaurant, hotel, etc., wherein each entity type is represented by a highest-ranked entity with the entity type. Thus, the user interface may display a highest-ranked restaurant, a highest-ranked hotel, etc. Upon user selection of one such entity type the user interface is replaced with a second user interface, for example showing a ranked hierarchy of restaurants, headed by the highest-ranked restaurant.

摘要翻译： 用户行为模型部分地基于时间和位置提供个性化建议，特别是移动设备的用户。 实体类型根据与用户的相关性进行排名。 示例实体类型是餐厅，酒店等。相关性可以基于参考包含来自其他用户的查询的大规模数据库。 另外，每个实体类型中的实体可以基于与用户的相关性以及时间和位置上下文来排序。 用户界面可以显示诸如餐馆，酒店等的实体类型的排名列表，其中每个实体类型由具有实体类型的最高排名的实体表示。 因此，用户界面可以显示排名最高的餐馆，排名最高的酒店等。当用户选择一个这样的实体时，类型将用户界面替换为第二用户界面，例如显示餐馆的等级排列 由最高排名的餐厅。

公开(公告)号：US20120295640A1

公开(公告)日：2012-11-22

申请号：US13111132

申请日：2011-05-19

申请人： Tao Mei ,  Ying-Qing Xu ,  Shipeng Li ,  Jinfeng Zhuang ,  Bo Zhang ,  Peng Xu

发明人： Tao Mei ,  Ying-Qing Xu ,  Shipeng Li ,  Jinfeng Zhuang ,  Bo Zhang ,  Peng Xu

IPC分类号： H04W64/00

CPC分类号： G06F17/3053 ,  G06F17/30554 ,  G06Q30/02

摘要： A user behavior model provides personalized recommendations based in part on time and location, particularly to users of mobile devices. Entity types are ranked according to relevance to the user. Example entity types are restaurant, hotel, etc. The relevance may be based on reference to a large-scale database containing queries from other users. Additionally, entities within each entity type may be ranked based on relevance to the user and the time and location context. A user interface may display a ranked list of entity types, such as restaurant, hotel, etc., wherein each entity type is represented by a highest-ranked entity with the entity type. Thus, the user interface may display a highest-ranked restaurant, a highest-ranked hotel, etc. Upon user selection of one such entity type the user interface is replaced with a second user interface, for example showing a ranked hierarchy of restaurants, headed by the highest-ranked restaurant.

摘要翻译： 用户行为模型部分地基于时间和位置提供个性化建议，特别是移动设备的用户。 实体类型根据与用户的相关性进行排名。 示例实体类型是餐厅，酒店等。相关性可以基于参考包含来自其他用户的查询的大规模数据库。 另外，每个实体类型中的实体可以基于与用户的相关性以及时间和位置上下文来排序。 用户界面可以显示诸如餐馆，酒店等的实体类型的排名列表，其中每个实体类型由具有实体类型的最高排名的实体表示。 因此，用户界面可以显示排名最高的餐馆，排名最高的酒店等。当用户选择一个这样的实体时，类型将用户界面替换为第二用户界面，例如显示餐馆的等级排列 由最高排名的餐厅。

公开(公告)号：US20110289015A1

公开(公告)日：2011-11-24

申请号：US12784728

申请日：2010-05-21

申请人： Tao Mei ,  Ying-Qing Xu ,  Xian-Sheng Hua ,  Shipeng Li

发明人： Tao Mei ,  Ying-Qing Xu ,  Xian-Sheng Hua ,  Shipeng Li

IPC分类号： G06Q99/00 ,  G06F17/30 ,  G01S19/42

CPC分类号： G06Q10/04 ,  G06Q30/02 ,  G06Q30/0282

摘要： Users may browse web pages, interact with a plethora of applications, search for new content, and perform a wide variety of other tasks using a mobile device. Unfortunately, useful content may be difficult for a user to locate because of the large amount of content available (e.g. hundreds of thousands of applications within an application store). Accordingly, one or more systems and/or techniques for determining recommendations are disclosed herein. In particular, user input (e.g., text, numbers, etc.) and/or a user profile (e.g., contextual information relating to a user) may be used to determine a user intent. Recommendations may be determined based upon the user intent. For example, a user may input “I am hungry” using a mobile phone having a GPS location of Downtown and a noon timestamp. Using this information, an application allowing the user to make lunch reservations at local restaurants may be provided as a recommendation.

摘要翻译： 用户可以浏览网页，与许多应用程序交互，搜索新内容，并使用移动设备执行各种其他任务。 不幸的是，由于可用的大量内容（例如，应用程序存储中的数十万个应用程序），用户可能难以找到有用的内容。 因此，本文公开了用于确定建议的一个或多个系统和/或技术。 特别地，可以使用用户输入（例如，文本，数字等）和/或用户简档（例如，与用户有关的上下文信息）来确定用户意图。 可以基于用户意图来确定建议。 例如，用户可以使用具有Downtown的GPS位置和中午时间戳的移动电话来输入“我饿了”。 使用该信息，可以提供允许用户在当地餐馆进行午餐预约的应用程序作为推荐。

公开(公告)号：US08804005B2

公开(公告)日：2014-08-12

申请号：US12111202

申请日：2008-04-29

申请人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Zhiwei Gu

发明人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Zhiwei Gu

IPC分类号： G06K9/62 ,  G06K9/34

CPC分类号： G11B27/28 ,  G06K9/00711 ,  G06K9/6282

摘要： Visual concepts contained within a video clip are classified based upon a set of target concepts. The clip is segmented into shots and a multi-layer multi-instance (MLMI) structured metadata representation of each shot is constructed. A set of pre-generated trained models of the target concepts is validated using a set of training shots. An MLMI kernel is recursively generated which models the MLMI structured metadata representation of each shot by comparing prescribed pairs of shots. The MLMI kernel is subsequently utilized to generate a learned objective decision function which learns a classifier for determining if a particular shot (that is not in the set of training shots) contains instances of the target concepts. A regularization framework can also be utilized in conjunction with the MLMI kernel to generate modified learned objective decision functions. The regularization framework introduces explicit constraints which serve to maximize the precision of the classifier.

摘要翻译： 视频剪辑中包含的视觉概念基于一组目标概念进行分类。 剪辑被分割成镜头，并且构建每个镜头的多层多实例（MLMI）结构化元数据表示。 使用一组训练镜头验证了一组预先生成的目标概念训练模型。 通过比较规定的拍摄对，递归地生成MLMI内核，以对每个镜头的MLMI结构化元数据表示进行建模。 MLMI内核随后被用于生成学习的客观决策函数，该函数学习用于确定特定镜头（不在该组训练镜头中）是否包含目标概念的实例的分类器。 正则化框架也可以与MLMI内核一起使用，以生成修改后的学习目标决策函数。 正则化框架引入明确的约束，用于最大化分类器的精度。

公开(公告)号：US08504422B2

公开(公告)日：2013-08-06

申请号：US12786020

申请日：2010-05-24

申请人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Jinlian Guo ,  Fei Sheng

发明人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Jinlian Guo ,  Fei Sheng

IPC分类号： G06Q30/00

CPC分类号： G06F17/30056 ,  G06F17/30047 ,  G06Q30/02 ,  G06Q30/0243

摘要： Techniques for recommending music and advertising to enhance a user's experience while photo browsing are described. In some instances, songs and ads are ranked for relevance to at least one photo from a photo album. The songs, ads and photo(s) from the photo album are then mapped to a style and mood ontology to obtain vector-based representations. The vector-based representations can include real valued terms, each term associated with a human condition defined by the ontology. A re-ranking process generates a relevancy term for each song and each ad indicating relevancy to the photo album. The relevancy terms can be calculated by summing weighted terms from the ranking and the mapping. Recommended music and ads may then be provided to a user, as the user browses a series of photos obtained from the photo album. The ads may be seamlessly embedded into the music in a nonintrusive manner.

摘要翻译： 描述用于推荐音乐和广告以提高用户在照相浏览时体验的技术。 在某些情况下，歌曲和广告的排名与相册中的至少一张照片相关。 然后将相册中的歌曲，广告和照片映射到风格和心境本体以获得基于矢量的表示。 基于向量的表示可以包括实际值，每个术语与由本体定义的人类条件相关联。 重新排序过程产生每个歌曲的相关术语，每个广告指示相册的相关性。 可以通过从排名和映射求和加权项来计算相关项。 然后，当用户浏览从相册获得的一系列照片时，推荐的音乐和广告可以被提供给用户。 广告可以无缝地嵌入到音乐中。

公开(公告)号：US08369686B2

公开(公告)日：2013-02-05

申请号：US12571373

申请日：2009-09-30

申请人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Jinlian Guo

发明人： Tao Mei ,  Xian-Sheng Hua ,  Shipeng Li ,  Jinlian Guo

IPC分类号： H04N9/80

CPC分类号： H04N21/458 ,  G06Q30/02 ,  G06Q30/0243 ,  G11B27/034 ,  G11B27/28 ,  H04N21/44008 ,  H04N21/440236 ,  H04N21/466 ,  H04N21/812

摘要： Video advertising overlay technique embodiments are presented that generally detect a set of spatio-temporal nonintrusive positions within a series of consecutive video frames in shots of a digital video and then overlay contextually relevant ads on these positions. In one general embodiment, this is accomplished by decomposing the video into a series of shots, and then identifying a video advertisement for each of a selected set of the shots. The identified video advertisement is one that is determined to be the most relevant to the content of the shot. An overlay area is also identified in each of the shots, where the selected overlay area is the least intrusive among a plurality of prescribed areas to a viewer of the video. The video advertisements identified for the shots are then respectively scheduled to be overlaid in the identified overlay area of a shot, whenever the shot is played.

摘要翻译： 提供了视频广告覆盖技术实施例，其通常在数字视频的拍摄中检测一系列连续视频帧内的一组时空非侵入位置，然后在这些位置上重叠相关的相关广告。 在一个一般实施例中，这通过将视频分解成一系列镜头，然后为所选择的一组拍摄中的每一个识别视频广告来实现。 所识别的视频广告是被确定为与拍摄内容最相关的广告。 在每个拍摄中还识别覆盖区域，其中所选覆盖区域在多个规定区域中对于视频的观看者是最小的侵入。 每当拍摄被拍摄时，为拍摄而识别的视频广告然后分别被调度为覆盖在所识别的拍摄的重叠区域中。