公开(公告)号：US06445810B2

公开(公告)日：2002-09-03

申请号：US09726425

申请日：2000-12-01

申请人： Trevor Darrell ,  Gaile Gordon ,  Michael Harville ,  John Woodfill ,  Harlyn Baker

发明人： Trevor Darrell ,  Gaile Gordon ,  Michael Harville ,  John Woodfill ,  Harlyn Baker

IPC分类号： G06K900

CPC分类号： G06K9/00362

摘要： Techniques from computer vision and computer graphics are combined to robustly track a target (e.g., a user) and perform a function based upon the image and/or the identity attributed to the target's face. Three primary modules are used to track a user's head: depth estimation, color segmentation, and pattern classification. The combination of these three techniques allows for robust performance despite unknown background, crowded conditions, and rapidly changing pose or expression of the user. Each of the modules can also provide an identity classification module with valuable information so that the identity of a user can be estimated. With an estimate of the position of a target in 3-D and the target's identity, applications such as individualized computer programs or graphics techniques to distort and/or morph the shape or apparent material properties of the user's face can be performed. The system can track and respond to a user's face in real-time using completely passive and non-invasive techniques.

摘要翻译： 来自计算机视觉和计算机图形学的技术被组合以鲁棒地跟踪目标（例如，用户）并且基于归因于目标的脸部的图像和/或身份执行功能。 三个主要模块用于跟踪用户的头部：深度估计，颜色分割和模式分类。 尽管未知背景，拥挤状况以及用户快速变化的姿势或表情，这三种技术的组合也可以实现强大的性能。 每个模块还可以提供具有有价值信息的身份分类模块，以便可以估计用户的身份。 通过估计目标在3D中的位置和目标的身份，可以执行诸如个性化计算机程序或图形技术之类的应用程序来扭曲和/或变形用户脸部的形状或表观材料属性。 该系统可以使用完全无源和非侵入性技术实时跟踪和响应用户的脸部。

公开(公告)号：US08948461B1

公开(公告)日：2015-02-03

申请号：US11119179

申请日：2005-04-29

申请人： Adrian E. Broadhurst ,  John P. MacCormick ,  Donald O. Tanguay, Jr. ,  Michael Harville

发明人： Adrian E. Broadhurst ,  John P. MacCormick ,  Donald O. Tanguay, Jr. ,  Michael Harville

IPC分类号： G06K9/00

CPC分类号： G06K9/00201

摘要： A method and system for estimating the three dimensional position of an object in a three dimensional physical space. Specifically, the method discloses capturing a plurality of images of a human form within the three dimensional (3D) physical space. Each of the plurality of images is captured from a different viewpoint location of the human form. At least one image capturing device calibrated within the 3D physical space is used to capture the images. A plurality of silhouettes of the human form is extracted from the plurality of images. A plurality of contours of an object of the human form is obtained from the plurality of silhouettes. A location of the object within the 3D physical space is determined from an object model of the object based on the plurality of contours.

摘要翻译： 一种用于估计三维物理空间中物体的三维位置的方法和系统。 具体地，该方法公开了在三维（3D）物理空间内捕获人形的多个图像。 从人体形式的不同视点位置捕获多个图像中的每一个。 使用在3D物理空间内校准的至少一个图像捕获设备来捕获图像。 从多个图像中提取人物形式的多个剪影。 从多个轮廓获得人体形状的对象的多个轮廓。 基于多个轮廓，从对象的对象模型确定3D物理空间内的对象的位置。

公开(公告)号：US08730183B2

公开(公告)日：2014-05-20

申请号：US12553966

申请日：2009-09-03

申请人： Niklas Lundback ,  Steve Mason ,  Michael Harville ,  Ammon Haggerty ,  Nikolai Cornell

发明人： Niklas Lundback ,  Steve Mason ,  Michael Harville ,  Ammon Haggerty ,  Nikolai Cornell

IPC分类号： G06F3/048

CPC分类号： G06F3/0425 ,  G06F3/0416 ,  G06F2203/04808

摘要： A large scale multi-user, multi-touch system with a specialized zone-based user interface including methods for space management and spatial apportioning of audio cues. The system comprises a multi-touch display component fabricated in dimensions sufficient for at least a plurality of users and for displaying projected images and for receiving multi-touch input. The apparatus includes a plurality of image projectors, a plurality of cameras for sensing multi-touch input and the apparatus includes interface software for managing user space. The interface software implements techniques for managing multiple users using the same user interface component by allocating physical spaces within the multi-touch display component and coordinating movement of displayed objects between the physical spaces. Embodiments include a plurality of audio transducers and methods for performing audio spatialization using the plurality of audio transducers corresponding to the physical spaces, apportioning of volume levels to the audio transducers based on movement of a displayed object.

摘要翻译： 具有基于专用区域的用户界面的大规模多用户多点触控系统，包括空间管理和音频提示空间分配的方法。 该系统包括在至少多个用户的尺寸上制造并用于显示投影图像并用于接收多点触摸输入的多点触控显示部件。 该装置包括多个图像投影仪，用于感测多点触摸输入的多个相机，并且该装置包括用于管理用户空间的界面软件。 接口软件通过在多点触摸显示组件内分配物理空间并且在物理空间之间协调显示对象的运动来实现使用相同用户界面组件来管理多个用户的技术。 实施例包括多个音频换能器和用于使用对应于物理空间的多个音频换能器来执行音频空间化的方法，并且基于所显示的对象的移动将音量等级分配给音频换能器。

公开(公告)号：US20110050640A1

公开(公告)日：2011-03-03

申请号：US12553961

申请日：2009-09-03

申请人： Niklas Lundback ,  Michael Harville

发明人： Niklas Lundback ,  Michael Harville

IPC分类号： G06F3/042

CPC分类号： G06F3/041 ,  G06F3/0418 ,  G06F3/0488 ,  G06F3/04883 ,  G06F2203/04104

摘要： A large scale multi-user, multi-touch system with a specialized zone-based user interface including methods for space management and spatial apportioning of audio cues. The system comprises a multi-touch display component fabricated in dimensions sufficient for at least a plurality of users and for displaying projected images and for receiving multi-touch input. The apparatus includes a plurality of image projectors, a plurality of cameras for sensing multi-touch input and the apparatus includes interface software for managing user space. The interface software implements techniques for managing multiple users using the same user interface component by allocating physical spaces within the multi-touch display component and coordinating movement of displayed objects between the physical spaces. Embodiments include a plurality of audio transducers and methods for performing audio spatialization using the plurality of audio transducers corresponding to the physical spaces, apportioning of volume levels to the audio transducers based on movement of a displayed object.

摘要翻译： 具有基于专用区域的用户界面的大规模多用户多点触控系统，包括空间管理和音频提示空间分配的方法。 该系统包括在至少多个用户的尺寸上制造并用于显示投影图像并用于接收多点触摸输入的多点触控显示部件。 该装置包括多个图像投影仪，用于感测多点触摸输入的多个相机，并且该装置包括用于管理用户空间的界面软件。 接口软件通过在多点触摸显示组件内分配物理空间并且在物理空间之间协调显示对象的运动来实现使用相同用户界面组件来管理多个用户的技术。 实施例包括多个音频换能器和用于使用对应于物理空间的多个音频换能器来执行音频空间化的方法，并且基于所显示的对象的移动将音量等级分配给音频换能器。

公开(公告)号：US20110021256A1

公开(公告)日：2011-01-27

申请号：US12510247

申请日：2009-07-27

申请人： Niklas Lundback ,  Steve Mason ,  Michael Harville ,  Nikolai Cornell ,  Travis Threlkel

发明人： Niklas Lundback ,  Steve Mason ,  Michael Harville ,  Nikolai Cornell ,  Travis Threlkel

IPC分类号： A63F9/24 ,  A63F13/00

CPC分类号： A63D15/20 ,  A63F2009/2435 ,  A63F2009/2463 ,  A63F2300/1093 ,  G06K9/00

摘要： Position data is generated. The position data describes real-time positions of each of one or more billiard balls moving on a playing surface of a billiard table. Imagery is displayed on the playing surface. The imagery dynamically responds to the position data as the one or more billiard balls move on the playing surface.

摘要翻译： 产生位置数据。 位置数据描述了在台球桌的运动表面上移动的一个或多个台球的每一个的实时位置。 图像显示在播放面上。 当一个或多个台球在游戏表面上移动时，图像动态地响应位置数据。

公开(公告)号：US07800628B2

公开(公告)日：2010-09-21

申请号：US11455303

申请日：2006-06-16

申请人： Michael Harville ,  Irwin E. Sobel ,  Daniel G. Gelb ,  Andrew E. Fitzhugh

发明人： Michael Harville ,  Irwin E. Sobel ,  Daniel G. Gelb ,  Andrew E. Fitzhugh

IPC分类号： G09G5/02

CPC分类号： H04N9/3194 ,  G06F3/14 ,  G06F3/1446 ,  G06T3/4038 ,  G06T5/006 ,  G06T7/33 ,  G06T2207/10012 ,  G06T2207/20004 ,  G09G2320/0233 ,  G09G2320/0693 ,  G09G2340/10 ,  G09G2360/145 ,  H04N9/3147

摘要： A method includes determining a first blend map for a first projector, the first blend map including a first plurality of attenuation factors corresponding to a region of overlap between first and second images projected by the first projector and a second projector, respectively, on a display surface, applying the first blend map to a white level measurement map that includes a plurality of white level measurement values measured from a first plurality of captured images, applying a smoothing function to the white level measurement map to generate a white level target map, and determining a scale map for the first projector from the white level measurement map and the white level target map.

摘要翻译： 一种方法包括确定用于第一投影仪的第一混合图，所述第一混合图包括分别对应于第一投影仪投影的第一和第二图像与第二投影仪之间的重叠区域的第一多个衰减因子， 将第一混合图应用于包括从第一多个捕获图像测量的多个白电平测量值的白电平测量图，将平滑函数应用于白电平测量图以产生白电平目标图，以及 从白电平测量图和白电平目标图确定第一投影仪的比例图。

公开(公告)号：US07317830B1

公开(公告)日：2008-01-08

申请号：US10703393

申请日：2003-11-07

申请人： Gaile Gordon ,  Trevor Darrell ,  Michael Harville ,  John Woodfill

发明人： Gaile Gordon ,  Trevor Darrell ,  Michael Harville ,  John Woodfill

IPC分类号： G06K9/34

CPC分类号： G06K9/38 ,  G06T7/11 ,  G06T7/143 ,  G06T7/174 ,  G06T7/194 ,  G06T2207/10021 ,  G06T2207/10028 ,  G06T2207/20224

摘要： Segmentation of background and foreground objects in an image is based upon the joint use of range and color data. Range-based data is largely independent of color image data, and hence not adversely affected by the limitations associated with color-based segmentation, such as shadows and similarly colored objects. Furthermore, color segmentation is complementary to range measurement in those cases where reliable range data cannot be obtained. These complementary sets of data are used to provide a multidimensional background estimation. The segmentation of a foreground object in a given frame of an image sequence is carried out by comparing the image frames with background statistics relating to range and normalized color, using the sets of statistics in a complementary manner. A background model is determined by estimating using a multidimensional histogram, recording pixel values, configuring the pixel values into a cluster, and selecting a largest cluster as representing the background model.

摘要翻译： 图像中背景和前景对象的分割基于范围和颜色数据的联合使用。 基于范围的数据在很大程度上与彩色图像数据无关，因此不受与基于颜色的分割（例如阴影和类似彩色对象）相关联的限制的不利影响。 此外，在不能获得可靠范围数据的情况下，颜色分割与范围测量是互补的。 这些互补的数据集用于提供多维背景估计。 图像序列的给定帧中的前景对象的分割是通过将图像帧与范围和归一化颜色相关的背景统计数据进行比较，使用互补的统计量集进行的。 背景模型通过使用多维直方图估计，记录像素值，将像素值配置到聚类中，并选择最大的聚类来表示背景模型来确定。

公开(公告)号：US07158656B2

公开(公告)日：2007-01-02

申请号：US11195039

申请日：2005-08-01

申请人： Michele M. Covell ,  Michael Hongmai Lin ,  Ali Rahimi ,  Michael Harville ,  Trevor J. Darrell ,  John I. Woodfill ,  Harlyn Baker ,  Gaile G. Gordon

发明人： Michele M. Covell ,  Michael Hongmai Lin ,  Ali Rahimi ,  Michael Harville ,  Trevor J. Darrell ,  John I. Woodfill ,  Harlyn Baker ,  Gaile G. Gordon

IPC分类号： G06K9/00

CPC分类号： G06K9/00375 ,  G06K9/00369 ,  G06T7/251 ,  G06T7/75 ,  G06T2207/10016 ,  G06T2207/30196

摘要： Dense range data obtained at real-time rates is employed to estimate the pose of an articulated figure. In one approach, the range data is used in combination with a model of connected patches. Each patch is the planar convex hull of two circles, and a recursive procedure is carried out to determine an estimate of pose which most closely correlates to the range data. In another aspect of the invention, the dense range data is used in conjunction with image intensity information to improve pose tracking performance. The range information is used to determine the shape of an object, rather than assume a generic model or estimate structure from motion. In this aspect of the invention, a depth constraint equation, which is a counterpart to the classic brightness change constraint equation, is employed. Both constraints are used to jointly solve for motion estimates.

摘要翻译： 采用实时速率获得的浓度范围数据来估计关节数字的姿态。 在一种方法中，范围数据与连接补丁的模型结合使用。 每个贴片是两个圆的平面凸包，并且执行递归过程以确定与范围数据最密切相关的姿势的估计。 在本发明的另一方面，密集范围数据与图像强度信息结合使用以改善姿态跟踪性能。 范围信息用于确定对象的形状，而不是假设通用模型或从运动估计结构。 在本发明的这个方面，采用与经典亮度变化约束方程相对应的深度约束方程。 两个约束都用于共同解决运动估计。

公开(公告)号：US20060129411A1

公开(公告)日：2006-06-15

申请号：US11007430

申请日：2004-12-07

申请人： Nina Bhatti ,  Terrie Sima ,  Sabine Susstrunk ,  Henry Baker ,  Michael Harville

发明人： Nina Bhatti ,  Terrie Sima ,  Sabine Susstrunk ,  Henry Baker ,  Michael Harville

IPC分类号： G06Q99/00 ,  G05B19/418 ,  G06F9/46

CPC分类号： G06Q30/02 ,  G06Q30/0281 ,  G06Q30/0601 ,  G06Q30/0631

摘要： Embodiments of the present invention recite a system for providing product consulting using a transmitted image. In one embodiment, the present invention comprises an image capture device for capturing an image of a user and a reference color set. In embodiments of the present invention, the image capture device does not require a provided infrastructure when capturing the image. The system further comprises a categorizing system for determining at least one data category from data comprising the image. A result generator generates a result based upon the determining of the categorizing system. The system further comprises a result reporting system for conveying the product consultation to the user when the result is conveyed.

摘要翻译： 本发明的实施例背诵使用发送图像提供产品咨询的系统。 在一个实施例中，本发明包括用于捕获用户的图像和参考颜色集合的图像捕获装置。 在本发明的实施例中，当拍摄图像时，图像捕获装置不需要提供的基础设施。 该系统还包括用于根据包括图像的数据确定至少一个数据类别的分类系统。 结果生成器基于分类系统的确定生成结果。 该系统还包括结果报告系统，用于在结果被传送时将产品咨询传达给用户。

公开(公告)号：US20060029368A1

公开(公告)日：2006-02-09

申请号：US11250083

申请日：2005-10-12

申请人： Michael Harville

发明人： Michael Harville

IPC分类号： H04N5/783 ,  H04N5/781

CPC分类号： G11B27/031 ,  H04N5/76 ,  H04N5/781 ,  H04N5/782 ,  H04N5/85 ,  H04N5/907 ,  H04N7/163 ,  H04N9/87 ,  H04N21/438 ,  H04N21/44008 ,  H04N21/812 ,  Y10S358/908

摘要： Identification of starting and ending times of commercial breaks and commercials within those commercial breaks found in audiovisual content is disclosed. A solution to a “batch optimization” problem is used in which commercial locations within a set of audiovisual content are detected as a group by choosing a set of commercial locations which optimizes a cost function which can include considerations of, for example, 1) one or more cues, 2) relative locations of commercials within the audiovisual content, and/or 3) probability models based on statistics obtained regarding characteristics of typical commercial and commercial breaks. Optimization can be done over the total set of commercial location decisions, rather than on a per-commercial basis. Additionally, the cost function can be iteratively evaluated and many more types of cues and combinations of cues can be used in detection of commercials.

摘要翻译： 披露在视听内容中发现的商业休息时间和商业广告的开始和结束时间的确定。 使用“批量优化”问题的解决方案，其中通过选择优化成本函数的一组商业位置来检测一组视听内容内的商业位置，该商业位置可以包括例如1） 或更多提示，2）视听内容中广告的相对位置，和/或3）基于针对典型商业和商业休息特征获得的统计数据的概率模型。 可以对整个商业定位决策进行优化，而不是在每个商业基础上进行。 另外，可以迭代地评估成本函数，并且可以在广告的检测中使用更多类型的提示和提示的组合。