公开(公告)号：US07869705B2

公开(公告)日：2011-01-11

申请号：US12017047

申请日：2008-01-21

申请人： Zicheng Liu ,  Mingxuan Sun ,  Jingyu Qiu ,  Zhengyou Zhang ,  Michael J. Sinclair

发明人： Zicheng Liu ,  Mingxuan Sun ,  Jingyu Qiu ,  Zhengyou Zhang ,  Michael J. Sinclair

IPC分类号： G03B15/03 ,  H04N9/73

CPC分类号： G03B15/02

摘要： A subject captured by a camera may be affected by environmental lighting provided by nearby light sources and the sun or moon, which may cause underexposure or overexposure of the image or aesthetically displeasing color tones. Image processing and camera adjustments may mitigate some imaging problems with limited effect and introduce undesirable side effects. A lighting array may be devised to expose the subject to various types of light (e.g., white light comprising full spectrum illumination and red, green, and blue lights comprising partial spectrum illumination) to resolve lighting problems in a more effective manner. Moreover, the lighting array may be responsively controlled to adjust the subject image with respect to one or more target spectra specifying desirable colors for the subject image. The lighting array may be iteratively controlled, e.g. by a gradient descent algorithm, for incrementally adjusting parameters with respect to proximate target spectra for the image.

摘要翻译： 由相机拍摄的被摄体可能会受到附近光源和太阳或月亮所提供的环境照明的影响，这可能会导致图像曝光不足或过度曝光或美观上不悦色调。 图像处理和相机调整可以以有限的效果减轻一些成像问题，并引入不期望的副作用。 可以设计照明阵列以将对象暴露于各种类型的光（例如，包括全光谱照明的白光和包括部分光谱照明的红色，绿色和蓝色光）以更有效的方式解决照明问题。 此外，可以响应地控制照明阵列以相对于为目标图像指定所需颜色的一个或多个目标光谱来调整被摄体图像。 可以迭代地控制照明阵列，例如。 通过梯度下降算法，用于相对于图像的近似目标光谱递增调整参数。

公开(公告)号：US20100303266A1

公开(公告)日：2010-12-02

申请号：US12472080

申请日：2009-05-26

申请人： Wei-ge Chen ,  Zhengyou Zhang

发明人： Wei-ge Chen ,  Zhengyou Zhang

IPC分类号： H04R5/02

CPC分类号： H04R27/00

摘要： A spatial element is added to communications, including over telephone conference calls heard through headphones or a stereo speaker setup. Functions are created to modify signals from different callers to create the illusion that the callers are speaking from different parts of the room.

摘要翻译： 一个空间元素添加到通信中，包括通过耳机听到的电话会议通话或立体声扬声器设置。 创建功能来修改来自不同呼叫者的信号，以创建呼叫者从房间的不同部分讲话的错觉。

公开(公告)号：US20100289904A1

公开(公告)日：2010-11-18

申请号：US12466494

申请日：2009-05-15

申请人： Cha Zhang ,  Zhengyou Zhang ,  Zicheng Liu ,  Wanghong Yuan ,  Christian Huitema

发明人： Cha Zhang ,  Zhengyou Zhang ,  Zicheng Liu ,  Wanghong Yuan ,  Christian Huitema

IPC分类号： H04N7/08 ,  H04N7/24 ,  H04N5/225

CPC分类号： H04N7/147 ,  H04N7/148

摘要： Systems are disclosed that provide improved transfer speed of video data from a video capture device to a computing device using multiple video feeds respectively comprising different resolutions. A high-resolution image sensor is used to convert light images into a high-resolution video data stream. A down sampler converts the high-resolution video data stream to a low-resolution video data stream, so that both a low-resolution data stream and a high-resolution data stream are available. While the low resolution-data stream can be sent to the computing device, a digital signal processor (DSP) processes the high-resolution video data stream in accordance with an input control signal that is comprised of desired high-resolution video stream parameters derived from the low-resolution video data stream.

摘要翻译： 公开了使用分别包括不同分辨率的多个视频进给提供视频数据从视频采集设备到计算设备的改进传送速度的系统。 高分辨率图像传感器用于将光图像转换成高分辨率视频数据流。 下采样器将高分辨率视频数据流转换为低分辨率视频数据流，使得低分辨率数据流和高分辨率数据流都可用。 尽管低分辨率数据流可被发送到计算设备，但数字信号处理器（DSP）根据输入控制信号处理高分辨率视频数据流，该输入控制信号包括从 低分辨率视频数据流。

公开(公告)号：US07770116B2

公开(公告)日：2010-08-03

申请号：US11565596

申请日：2006-11-30

申请人： Zhengyou Zhang ,  Ross Cutler ,  Zicheng Liu ,  Anoop Gupta ,  Li-wei He

发明人： Zhengyou Zhang ,  Ross Cutler ,  Zicheng Liu ,  Anoop Gupta ,  Li-wei He

IPC分类号： G06F3/00 ,  G06F3/14

CPC分类号： G06F17/30843 ,  G06Q10/1095 ,  G11B27/105 ,  G11B27/28 ,  G11B27/34 ,  H04N5/77 ,  H04N9/806

摘要： A system that captures both whiteboard content and audio signals of a meeting using a digital camera and a microphone. The system can be retrofit to any existing whiteboard. It computes the time stamps of pen strokes on the whiteboard by analyzing the sequence of captured snapshots. It also automatically produces a set of key frames representing all the written content on the whiteboard before each erasure. The whiteboard content serves as a visual index to efficiently browse the audio meeting. The system not only captures the whiteboard content, but also helps the users to view and manage the captured meeting content efficiently and securely.

摘要翻译： 使用数码相机和麦克风捕获会议的白板内容和音频信号的系统。 该系统可以改装任何现有的白板。 它通过分析捕获的快照的顺序来计算白板上笔划的时间戳。 它也会在每次擦除之前自动产生代表白板上所有写入内容的一组关键帧。 白板内容作为视觉索引，有效地浏览音频会议。 该系统不仅可以捕获白板内容，还可以帮助用户有效，安全地查看和管理所捕获的会议内容。

公开(公告)号：US20100149310A1

公开(公告)日：2010-06-17

申请号：US12336534

申请日：2008-12-17

申请人： Zhengyou Zhang ,  Christian Huitema ,  Alejandro Acero

发明人： Zhengyou Zhang ,  Christian Huitema ,  Alejandro Acero

IPC分类号： H04N7/15

CPC分类号： H04N7/147 ,  H04N7/15 ,  H04N21/42203 ,  H04N21/4223 ,  H04N21/4318 ,  H04N21/44218 ,  H04N21/4788

摘要： A videoconferencing conferee may be provided with feedback on his or her location relative a local video camera by altering how remote videoconference video is displayed on a local videoconference display viewed by the conferee. The conferee's location may be tracked and the displayed remote video may be altered in accordance to the changing location of the conferee. The remote video may appear to move in directions mirroring movement of the conferee. This effect may be achieved by modeling the remote video as offset and behind a virtual portal corresponding to the display. The remote video may be displayed according to a view of the remote video through the virtual portal. As the conferee's position changes, the view through the portal changes, and the remote video changes accordingly.

摘要翻译： 可以通过改变远程视频会议视频在与会者观看的本地视频会议显示器上的显示方式，来向视频会议与会者提供关于其本地摄像机的反馈。 可以跟踪与会者的位置，并且可以根据与会者的不同位置改变所显示的远程视频。 远程视频可能会显示为反映与会者移动的方向。 可以通过将远程视频建模为偏移并且对应于显示器的虚拟门户后面来实现该效果。 远程视频可以根据通过虚拟门户的远程视频的视图来显示。 随着与会者的职位发生变化，通过门户的视图会发生变化，远程视频也会相应变化。

公开(公告)号：US07706575B2

公开(公告)日：2010-04-27

申请号：US10912279

申请日：2004-08-04

申请人： Zicheng Liu ,  Zhengyou Zhang

发明人： Zicheng Liu ,  Zhengyou Zhang

IPC分类号： G06K9/00 ,  H04N7/18

CPC分类号： G06K9/00248 ,  G06T7/251 ,  G06T7/70 ,  G06T2207/10016 ,  G06T2207/30201

摘要： The system provides improved procedures to estimate head motion between two images of a face. Locations of a number of distinct facial features are identified in two images. The identified locations can correspond to the eye corners, mouth corners and nose tip. The locations are converted into as a set of physical face parameters based on the symmetry of the identified distinct facial features. The set of physical parameters reduces the number of unknowns as compared to the number of equations used to determine the unknowns. An initial head motion estimate is determined by: (a) estimating each of the set of physical parameters, (b) estimating a first head pose transform corresponding to the first image, and (c) estimating a second head pose transform corresponding to the second image.The head motion estimate can be incorporated into a feature matching algorithm to refine the head motion estimation and the physical facial parameters.In one implementation, an inequality constraint is placed on a particular physical parameter—such as a nose tip, such that the parameter is constrained within a predetermined minimum and maximum value. The inequality constraint is converted to an equality constraint by using a penalty function. Then, the inequality constraint is used during the initial head motion estimation to add additional robustness to the motion estimation.

摘要翻译： 该系统提供改进的程序来估计脸部的两个图像之间的头部运动。 在两个图像中识别出许多不同的脸部特征的位置。 识别的位置可以对应于眼角，嘴角和鼻尖。 基于识别出的不同面部特征的对称性，这些位置被转换为一组物理面部参数。 与用于确定未知数的等式的数量相比，该组物理参数减少了未知数的数量。 通过以下方式确定初始头部运动估计：（a）估计所述一组物理参数中的每一个，（b）估计与所述第一图像相对应的第一头部姿态变换，以及（c）估计与所述第二头部姿态变换相对应的第二头部姿态变换 图片。 头部运动估计可以被并入到特征匹配算法中以改进头部运动估计和物理面部参数。 在一个实现中，对特定物理参数（例如鼻尖）施加不等式约束，使得参数被限制在预定的最小值和最大值内。 不等式约束通过使用惩罚函数转换为等式约束。 然后，在初始头部运动估计期间使用不等式约束以向运动估计添加额外的鲁棒性。

公开(公告)号：US20100027835A1

公开(公告)日：2010-02-04

申请号：US12183078

申请日：2008-07-31

申请人： Zhengyou Zhang ,  Wanqing Li ,  Zicheng Liu

发明人： Zhengyou Zhang ,  Wanqing Li ,  Zicheng Liu

IPC分类号： G06K9/00

CPC分类号： G06K9/6892 ,  G06K9/00362 ,  G06K9/00711

摘要： A system that facilitates automatically determining an action of an animate object is described herein. The system includes a receiver component that receives video data that includes images of an animate object. The system additionally includes a determiner component that accesses a data store that includes an action graph and automatically determines an action undertaken by the animate object in the received video data based at least in part upon the action graph. The action graph comprises a plurality of nodes that are representative of multiple possible postures of the animate object. At least one node in the action graph is shared amongst multiple actions represented in the action graph.

摘要翻译： 这里描述了便于自动确定动画对象的动作的系统。 该系统包括接收包括动画对象的图像的视频数据的接收器组件。 该系统还包括确定器组件，其访问包括动作图的数据存储，并至少部分地基于动作图，自动地确定由所接收的视频数据中的动画对象所执行的动作。 动作图包括代表动画对象的多个可能姿势的多个节点。 动作图中至少有一个节点在动作图中表示的多个动作中共享。

公开(公告)号：US20090251594A1

公开(公告)日：2009-10-08

申请号：US12060890

申请日：2008-04-02

申请人： Gang Hua ,  Cha Zhang ,  Zhengyou Zhang ,  Zicheng Liu ,  Ying Shan

发明人： Gang Hua ,  Cha Zhang ,  Zhengyou Zhang ,  Zicheng Liu ,  Ying Shan

IPC分类号： H04N7/01

CPC分类号： G06T11/00 ,  H04N1/3875 ,  H04N7/0122 ,  H04N21/2662

摘要： Videos are retargeted to a target display for viewing with little to no geometric distortion or video information loss. Salient regions of video frames may be determined using scale-space spatiotemporal information. Video information loss may be a result of spatial loss, due to cropping, and resolution loss, due to resizing. A desired cropping window may be determined using a coarse-to-fine searching strategy. Video frames may be cropped with a window that matches an aspect ratio of the target display, and resized isotropically to match a size of the target display.

摘要翻译： 视频被重定向到目标显示器，用于观看几乎没有几何失真或视频信息丢失。 可以使用尺度空间时空信息来确定视频帧的显着区域。 视频信息丢失可能是由于调整大小而导致的空间损失，由于裁剪和分辨率损失造成的。 可以使用粗略到精细的搜索策略来确定期望的裁剪窗口。 可以用与目标显示器的纵横比匹配的窗口裁剪视频帧，并且各向同性地调整大小以匹配目标显示器的大小。

公开(公告)号：US20090177601A1

公开(公告)日：2009-07-09

申请号：US11970522

申请日：2008-01-08

申请人： Chao Huang ,  Chunhui Zhang ,  Frank Kao-ping Soong ,  Zhengyou Zhang ,  Yuan Kong

发明人： Chao Huang ,  Chunhui Zhang ,  Frank Kao-ping Soong ,  Zhengyou Zhang ,  Yuan Kong

IPC分类号： G06F15/18

CPC分类号： H04L67/22 ,  G06Q10/10

摘要： Described is a technology by which personal information that comes into a computer system is intelligently managed according to current state data including user presence and/or user attention data. Incoming information is processed against the state data to determine whether corresponding data is to be output, and if so, what output modality or modalities to use. For example, if a user is present and busy, a notification may be blocked or deferred to avoid disturbing the user. Cost analysis may be used to determine the cost of outputting the data. In addition to user state data, the importance of the information, other state data, the cost of converting data to another format for output (e.g., text-to-speech), and/or user preference data, may factor into the decision. The output data may be modified (e.g., audio made louder) based on a current output environment as determined via the state data.

摘要翻译： 描述了根据包括用户存在和/或用户关注数据的当前状态数据来智能地管理进入计算机系统的个人信息的技术。 根据状态数据处理传入信息，以确定是否输出相应的数据，如果是，则使用什么输出模态或模态。 例如，如果用户存在和忙碌，则可以阻止或延迟通知以避免干扰用户。 成本分析可用于确定输出数据的成本。 除了用户状态数据之外，信息的重要性，其他状态数据，将数据转换成用于输出的另一种格式（例如，文本到语音）和/或用户偏好数据的成本可以考虑到该决定中。 可以基于经由状态数据确定的当前输出环境来修改输出数据（例如，更大声音）。

公开(公告)号：US20090075634A1

公开(公告)日：2009-03-19

申请号：US12323570

申请日：2008-11-26

申请人： Michael J. Sinclair ,  Yuan Kong ,  Zhengyou Zhang ,  Behrooz Chitsaz ,  David W. Williams ,  Silviu-Petru Cucerzan ,  Zicheng Liu

发明人： Michael J. Sinclair ,  Yuan Kong ,  Zhengyou Zhang ,  Behrooz Chitsaz ,  David W. Williams ,  Silviu-Petru Cucerzan ,  Zicheng Liu

IPC分类号： H04M3/42

CPC分类号： H04W88/06 ,  H04M1/72572 ,  H04M2250/12 ,  H04M2250/58 ,  H04W8/245 ,  H04W92/02 ,  H04W92/10

摘要： Multi-modal, multi-lingual devices can be employed to consolidate numerous items including, but not limited to, keys, remote controls, image capture devices, audio recorders, cellular telephone functionalities, location/direction detectors, health monitors, calendars, gaming devices, smart home inputs, pens, optical pointing devices or the like. For example, a corner of a cellular telephone can be used as an electronic pen. Moreover, the device can be used to snap multiple pictures stitching them together to create a panoramic image. A device can automate ignition of an automobile, initiate appliances, etc. based upon relative distance. The device can provide for near to eye capabilities for enhanced image viewing. Multiple cameras/sensors can be provided on a single device to provide for stereoscopic capabilities. The device can also provide assistance to blind, privacy, etc. by consolidating services.

摘要翻译： 可以使用多模式，多语言设备来整合许多项目，包括但不限于键，遥控器，图像捕获设备，音频记录器，蜂窝电话功能，位置/方向检测器，健康监视器，日历，游戏设备 智能家庭输入，笔，光学指向装置等。 例如，蜂窝电话的角落可以用作电子笔。 此外，该设备可以用于将多个图片拼接在一起以创建全景图像。 设备可以基于相对距离自动点火汽车，起动电器等。 该设备可以提供近眼睛的功能，以增强图像观看效果。 可以在单个设备上提供多个摄像机/传感器以提供立体能力。 该设备还可以通过整合服务来提供盲人，隐私等方面的帮助。