公开(公告)号：US06839067B2

公开(公告)日：2005-01-04

申请号：US10205739

申请日：2002-07-26

申请人： Qiong Liu ,  Don Kimber ,  Lynn D. Wilcox ,  Jonathan T. Foote ,  John Boreczky ,  Patrick Chiu ,  Shingo Uchihashi ,  Hai Tao

发明人： Qiong Liu ,  Don Kimber ,  Lynn D. Wilcox ,  Jonathan T. Foote ,  John Boreczky ,  Patrick Chiu ,  Shingo Uchihashi ,  Hai Tao

IPC分类号： H04N7/14 ,  H04N7/15 ,  H04N7/173 ,  G09G5/00

CPC分类号： G08B13/19643 ,  H04N7/142 ,  H04N7/147 ,  H04N7/15

摘要： A method and apparatus for providing multi-resolution video to multiple users under hybrid human and automatic control. Initial environment and close-up images are captured using a first camera and a PTZ camera. The initial images are then stored in memory. Current environment and close-up images are captured and the an estimated difference between the initial and current images and the true image is determined. The estimated differences are weighted and compared and the stored images are updated. A close-up image is then provided to each user of the system. The close-up camera is then directed to a portion of the environment image having high distortion, and current environment and close-up images are captured again.

摘要翻译： 一种用于在混合人力和自动控制下向多个用户提供多分辨率视频的方法和装置。 使用第一台摄像机和一台PTZ摄像机拍摄初始环境和特写图像。 然后将初始图像存储在存储器中。 捕获当前环境和特写图像，并确定初始图像和当前图像与真实图像之间的估计差异。 估计的差异被加权和比较，并且存储的图像被更新。 然后将特写图像提供给系统的每个用户。 特写相机然后被引导到具有高失真的环境图像的一部分，并且再次捕获当前环境和特写图像。

公开(公告)号：US20100030778A1

公开(公告)日：2010-02-04

申请号：US12184124

申请日：2008-07-31

申请人： Qiong Liu ,  Patrick Chiu ,  Lynn D. Wilcox

发明人： Qiong Liu ,  Patrick Chiu ,  Lynn D. Wilcox

IPC分类号： G06F17/30

CPC分类号： G06F17/30011 ,  G06F17/30247 ,  G06K9/00442 ,  G06K9/4676 ,  G06K2209/01

摘要： In an embodiment of the invention, an electronic document (e-document) can be searched and found by capturing an image of the printed document. Instead of typing in a file name or searching through multiple directories, the user simply takes a picture of the document with a camera and the system uses the document image to locate the e-document. In an alternative embodiment of the invention, an image of a printed document can be useful for remote document sharing. In various embodiments of the invention, sharing an image of a printed document can be used to email a high quality paper document, send a high quality fax, or open a document to a page containing an annotation. Through co-design of the feature extraction and search algorithm in the system, the image feature detection robustness and search speed are improved at the same time.

摘要翻译： 在本发明的实施例中，可以通过捕获打印文档的图像来搜索和发现电子文档（电子文档）。 用户只需使用相机对文档进行照片，而不是输入文件名或搜索多个目录，系统会使用文档图像来定位电子文档。 在本发明的替代实施例中，打印文档的图像可用于远程文档共享。 在本发明的各种实施例中，共享打印文档的图像可以用于向高质量的纸质文档发送高质量的传真，或者向包含注释的页面打开文档。 通过系统中特征提取和搜索算法的共同设计，同时提高了图像特征检测的鲁棒性和搜索速度。

公开(公告)号：US08139860B2

公开(公告)日：2012-03-20

申请号：US12184124

申请日：2008-07-31

申请人： Qiong Liu ,  Patrick Chiu ,  Lynn D. Wilcox

发明人： Qiong Liu ,  Patrick Chiu ,  Lynn D. Wilcox

IPC分类号： G06K9/34

CPC分类号： G06F17/30011 ,  G06F17/30247 ,  G06K9/00442 ,  G06K9/4676 ,  G06K2209/01

摘要： In an embodiment of the invention, an electronic document (e-document) can be searched and found by capturing an image of the printed document. Instead of typing in a file name or searching through multiple directories, the user simply takes a picture of the document with a camera and the system uses the document image to locate the e-document. In an alternative embodiment of the invention, an image of a printed document can be useful for remote document sharing. In various embodiments of the invention, sharing an image of a printed document can be used to email a high quality paper document, send a high quality fax, or open a document to a page containing an annotation. Through co-design of the feature extraction and search algorithm in the system, the image feature detection robustness and search speed are improved at the same time.

摘要翻译： 在本发明的实施例中，可以通过捕获打印文档的图像来搜索和发现电子文档（电子文档）。 用户只需使用相机对文档进行照片，而不是输入文件名或搜索多个目录，系统会使用文档图像来定位电子文档。 在本发明的替代实施例中，打印文档的图像可用于远程文档共享。 在本发明的各种实施例中，共享打印文档的图像可以用于向高质量的纸质文档发送高质量的传真，或者向包含注释的页面打开文档。 通过系统中特征提取和搜索算法的共同设计，同时提高了图像特征检测的鲁棒性和搜索速度。

公开(公告)号：US07730407B2

公开(公告)日：2010-06-01

申请号：US10375134

申请日：2003-02-28

申请人： Patrick Chiu ,  Laurent Denoue ,  Tohru Fuse ,  Qiong Liu ,  Lynn D. Wilcox

发明人： Patrick Chiu ,  Laurent Denoue ,  Tohru Fuse ,  Qiong Liu ,  Lynn D. Wilcox

IPC分类号： G06F3/00

CPC分类号： G06F17/30017 ,  G11B27/105 ,  G11B27/34

摘要： Systems and methods for bookmarking multimedia documents include displaying multiple multimedia streams, creating bookmarks comprising time signatures and snapshots of each multimedia stream based upon single action cues from a user, associating snapshots with portions of multimedia streams, displaying bookmarks and displaying portions of a multimedia stream associated with selected snapshots.

摘要翻译： 用于书签多媒体文档的系统和方法包括显示多个多媒体流，基于来自用户的单个动作线索，创建包括每个多媒体流的时间签名和快照的书签，将快照与多媒体流的多个部分相关联，显示书签并显示多媒体流的部分 与所选快照关联。

公开(公告)号：US20120042288A1

公开(公告)日：2012-02-16

申请号：US12857497

申请日：2010-08-16

申请人： Chunyuan LIAO ,  Hao Tang ,  Qiong Liu ,  Patrick Chiu ,  Francine Chen

发明人： Chunyuan LIAO ,  Hao Tang ,  Qiong Liu ,  Patrick Chiu ,  Francine Chen

IPC分类号： G06F3/033 ,  H04N5/225

CPC分类号： H04N1/00241 ,  G06F3/017 ,  H04N1/00129 ,  H04N1/195 ,  H04N1/19594 ,  H04N2201/0081 ,  H04N2201/0436

摘要： Systems and methods provide for mixed use of physical documents and a computer, and more specifically provide for detailed interactions with fine-grained content of physical documents that are integrated with operations on a computer to provide for improved user interactions between the physical documents and the computer. The system includes a camera which processes the physical documents and detects gestures made by a user with respect to the physical documents, a projector which provides visual feedback on the physical document, and a computer with a display to coordinate the interactions of the user with the computer and the interactions of the user with the physical document. The system, which can be portable, is capable of detecting interactions with fine-grained content of the physical document and translating interactions at the physical document with the computer display, and vice versa.

摘要翻译： 系统和方法提供物理文档和计算机的混合使用，并且更具体地提供与物理文档的细粒度内容的详细交互，其与计算机上的操作集成以提供物理文档和计算机之间的改进的用户交互 。 该系统包括处理物理文档并相对于物理文档检测由用户做出的手势的相机，提供对物理文档的视觉反馈的投影仪，以及具有显示器的计算机，以协调用户与 计算机和用户与物理文档的交互。 可以携带的系统能够检测与物理文档的细粒度内容的交互，并且利用计算机显示器在物理文档中翻译交互，反之亦然。

公开(公告)号：US20050028221A1

公开(公告)日：2005-02-03

申请号：US10629403

申请日：2003-07-28

申请人： Qiong Liu ,  Donald Kimber ,  Jonathan Foote ,  Chunyuan Liao ,  Patrick Chiu ,  Lynn Wilcox

发明人： Qiong Liu ,  Donald Kimber ,  Jonathan Foote ,  Chunyuan Liao ,  Patrick Chiu ,  Lynn Wilcox

IPC分类号： G06F3/14 ,  H04N5/445 ,  H04N7/14 ,  H04N7/15 ,  H04N7/173 ,  H04N7/16 ,  H04N7/00

CPC分类号： H04N7/147 ,  G06F19/00 ,  H04N7/15 ,  H04N21/4622

摘要： A method for exchanging information in a shared interactive environment, comprising selecting a first physical device in a first live video image wherein the first physical device has information associated with it, causing the information to be transferred to a second physical device in a second live video image wherein the transfer is brought about by manipulating a visual representation of the information, wherein the manipulation includes interacting with the first live video image and the second live video image, wherein the first physical device and the second physical device are part of the shared interactive environment, and wherein the first physical device and the second physical device are not the same.

摘要翻译： 一种用于在共享交互环境中交换信息的方法，包括：选择第一实时视频图像中的第一物理设备，其中所述第一物理设备具有与其相关联的信息，使得所述信息被传送到第二实时视频中的第二物理设备 图像，其中通过操纵所述信息的视觉表示来实现所述传送，其中所述操纵包括与所述第一实况视频图像和所述第二实况视频图像进行交互，其中所述第一物理设备和所述第二物理设备是所述共享交互的一部分 环境，并且其中所述第一物理设备和所述第二物理设备不相同。

公开(公告)号：US07830417B2

公开(公告)日：2010-11-09

申请号：US11504873

申请日：2006-08-15

申请人： Qiong Liu ,  Donald Kimber ,  Patrick Chiu ,  Laurent Denoue ,  Jack Yang ,  Hanning Zhou

发明人： Qiong Liu ,  Donald Kimber ,  Patrick Chiu ,  Laurent Denoue ,  Jack Yang ,  Hanning Zhou

IPC分类号： H04N5/225

CPC分类号： G06F3/0346 ,  H04M1/72522 ,  H04M2250/52

摘要： Embodiments of the present invention enable an image based controller to control and manipulate objects with simple point-and-capture operations via images captured by a camera enhanced mobile device. Powered by this technology, a user is able to complete many complicated control tasks via guided control of objects without utilizing laser pointers, IR transmitters, mini-projectors, or bar code tagging and/or customized wall paper are not needed for the environment control. This description is not intended to be a complete description of, or limit the scope of, the invention. Other features, aspects, and objects of the invention can be obtained from a review of the specification, the figures, and the claims.

摘要翻译： 本发明的实施例使得基于图像的控制器能够通过使用由相机增强的移动设备捕获的图像的简单的点和捕获操作来控制和操纵对象。 通过这种技术，用户无需使用激光指针即可完成许多复杂的控制任务，而不需要使用激光指针，红外发射器，小型投影机或者条形码标签和/或定制的墙纸来进行环境控制。 本说明书不是对本发明的完整描述或限制本发明的范围。 本发明的其它特征，方面和目的可以通过对说明书，附图和权利要求的评述来获得。

公开(公告)号：US07697785B2

公开(公告)日：2010-04-13

申请号：US10815354

申请日：2004-03-31

申请人： Patrick Chiu ,  Andreas Girgensohn ,  Qiong Liu

发明人： Patrick Chiu ,  Andreas Girgensohn ,  Qiong Liu

IPC分类号： G06K9/36

CPC分类号： G06T11/60 ,  G06F17/30793 ,  G06F17/30802 ,  G06F17/30811 ,  G06F17/30843 ,  G11B27/031 ,  G11B27/28

摘要： In one embodiment, the present invention extracts video regions of interest from one or more videos and generates a highly condensed visual summary of the videos. The video regions of interest are extracted based on to energy, movement, face or other object detection methods, associated data or external input, or some other feature of the video. In another embodiment, the present invention extracts regions of interest from images and generates highly condensed visual summaries of the images. The highly condensed visual summary is generated by laying out germs on a canvas and then filling the spaces between the germs. The result is a visual summary that resembles a stained glass window having cells of varying shape. The germs may be laid out by temporal order, color histogram, similarity, according to a desired pattern, size, or some other manner. The people, objects and other visual content in the germs appear larger and become easier to see. The visual summary of the present invention utilizes important regions within the key frames, leading to more condensed summaries that are well suitable for small screens.

摘要翻译： 在一个实施例中，本发明从一个或多个视频中提取感兴趣的视频区域，并且生成高分辨率的视频概要。 基于能量，移动，面部或其他物体检测方法，相关联的数据或外部输入或视频的某些其他特征来提取感兴趣的视频区域。 在另一个实施例中，本发明从图像中提取感兴趣的区域并且产生图像的高度浓缩的视觉摘要。 高度浓缩的视觉总结是通过在画布上布置细菌，然后填充细菌之间的空间来产生的。 结果是类似于具有不同形状的细胞的彩色玻璃窗的视觉总结。 根据期望的图案，大小或某种其他方式，细菌可以通过时间顺序，颜色直方图，相似性布置。 细菌中的人，物和其他视觉内容看起来更大，变得更容易看到。 本发明的视觉总结利用关键帧内的重要区域，导致更加精简的摘要，其非常适合于小屏幕。

公开(公告)号：US20090189920A1

公开(公告)日：2009-07-30

申请号：US12113201

申请日：2008-04-30

申请人： Patrick Chiu ,  Koichi Fujii ,  Qiong Liu

发明人： Patrick Chiu ,  Koichi Fujii ,  Qiong Liu

IPC分类号： G09G5/00 ,  G06K9/34

CPC分类号： G09G5/14 ,  G06K9/00456 ,  G09G2340/0407 ,  G09G2340/0464 ,  G09G2340/145 ,  G09G2370/027 ,  G09G2370/16

摘要： Described is a technique for viewing a document page on a small display such as a mobile phone or PDA. The page can come from a scanned document (bitmap image) or an electronic document (text and graphics data plus metadata). The page with text and graphics is segmented into regions. For each region, a scale-distortion function is constructed based on image analysis. During interactive viewing of the document, as the user navigates by moving the viewport around the page, the zoom factor will be automatically adjusted by optimizing the scale-distortion functions of the regions in the viewport.

摘要翻译： 描述了在诸如移动电话或PDA的小显示器上观看文档页面的技术。 该页面可以来自扫描文档（位图图像​​）或电子文档（文本和图形数据以及元数据）。 具有文本和图形的页面被分割成区域。 对于每个区域，基于图像分析构建尺度失真函数。 在文档的交互式查看期间，当用户通过在页面周围移动视口进行导航时，缩放因子将通过优化视口中区域的缩放失真功能来自动调整。

公开(公告)号：US20060062456A1

公开(公告)日：2006-03-23

申请号：US10948823

申请日：2004-09-23

申请人： Patrick Chiu ,  Qiong Liu ,  Andreas Girgensohn

发明人： Patrick Chiu ,  Qiong Liu ,  Andreas Girgensohn

IPC分类号： G06K9/34 ,  G06K9/46

CPC分类号： G06K9/3233

摘要： An algorithm for finding regions of interest (ROI) in synthetic images based on an information driven approach in which sub-blocks of a set of synthetic image are analyzed for information content or compressibility based on textural and color features. A DCT may be used to analyze the textural features of a set of images and a color histogram may be used to analyze the color features of the set of images. Sub-blocks of low compressibility are grouped into ROIs using a type of morphological technique. Unlike other algorithms that are geared for highly specific types of ROI (e.g. OCR text detection), the method of the present invention is generally applicable to arbitrary synthetic images. The present invention can be used with several other image applications, including Stained-Glass collages presentations.

摘要翻译： 一种基于信息驱动方法在合成图像中发现感兴趣区域（ROI）的算法，其中基于纹理和颜色特征分析一组合成图像的子块的信息内容或可压缩性。 可以使用DCT来分析一组图像的纹理特征，并且可以使用颜色直方图来分析该组图像的颜色特征。 使用一种形态学技术将低压缩性的子块分组成ROI。 与专门针对高度特定类型的ROI（例如OCR文本检测）的其他算法不同，本发明的方法通常适用于任意合成图像。 本发明可以与数种其它图像应用一起使用，包括彩色玻璃拼贴画展示。