公开(公告)号：US20120212509A1

公开(公告)日：2012-08-23

申请号：US13074041

申请日：2011-03-29

申请人： Hrvoje Benko ,  Ricardo Jorge Jota Costa ,  Andrew D. Wilson

发明人： Hrvoje Benko ,  Ricardo Jorge Jota Costa ,  Andrew D. Wilson

IPC分类号： G09G5/00

CPC分类号： G03B35/00 ,  G02B27/017 ,  G06F3/01 ,  G06F3/033 ,  G06T19/006 ,  H04N13/156 ,  H04N13/275

摘要： An interaction system is described which uses a depth camera to capture a depth image of a physical object placed on, or in vicinity to, an interactive surface. The interaction system also uses a video camera to capture a video image of the physical object. The interaction system can then generate a 3D virtual object based on the depth image and video image. The interaction system then uses a 3D projector to project the 3D virtual object back onto the interactive surface, e.g., in a mirrored relationship to the physical object. A user may then capture and manipulate the 3D virtual object in any manner. Further, the user may construct a composite model based on smaller component 3D virtual objects. The interaction system uses a projective texturing technique to present a realistic-looking 3D virtual object on a surface having any geometry.

摘要翻译： 描述了一种交互系统，其使用深度相机来捕获放置在交互式表面上或附近的物理对象的深度图像。 交互系统还使用摄像机来捕获物理对象的视频图像。 然后，交互系统可以基于深度图像和视频图像生成3D虚拟对象。 交互系统然后使用3D投影仪将3D虚拟对象投影回到交互式表面上，例如与物理对象的镜像关系。 然后，用户可以以任何方式捕获和操纵3D虚拟对象。 此外，用户可以基于较小的组件3D虚拟对象来构建复合模型。 交互系统使用投影纹理技术在具有任何几何形状的表面上呈现逼真的3D虚拟对象。

公开(公告)号：US08115732B2

公开(公告)日：2012-02-14

申请号：US12428492

申请日：2009-04-23

申请人： Andrew D. Wilson ,  Michael J. Sinclair

发明人： Andrew D. Wilson ,  Michael J. Sinclair

IPC分类号： G06G5/00

CPC分类号： G06F3/017 ,  G06F3/0304 ,  G06F3/04815 ,  G06F3/04845

摘要： Virtual controllers for visual displays are described. In one implementation, a camera captures an image of hands against a background. The image is segmented into hand areas and background areas. Various hand and finger gestures isolate parts of the background into independent areas, which are then assigned control parameters for manipulating the visual display. Multiple control parameters can be associated with attributes of multiple independent areas formed by two hands, for advanced control including simultaneous functions of clicking, selecting, executing, horizontal movement, vertical movement, scrolling, dragging, rotational movement, zooming, maximizing, minimizing, executing file functions, and executing menu choices.

摘要翻译： 描述了用于视觉显示的虚拟控制器。 在一个实现中，相机在背景上拍摄手的图像。 图像被分割为手区域和背景区域。 各种手指和手指手势将背景的一部分隔离成独立的区域，然后分配控制参数以操纵视觉显示。 多个控制参数可以与由双手形成的多个独立区域的属性相关联，用于高级控制，包括点击，选择，执行，水平移动，垂直移动，滚动，拖动，旋转移动，缩放，最大化，最小化，执行的同时功能 文件功能和执行菜单选项。

公开(公告)号：US20110271216A1

公开(公告)日：2011-11-03

申请号：US12772864

申请日：2010-05-03

申请人： Andrew D. Wilson

发明人： Andrew D. Wilson

IPC分类号： G06F3/048

CPC分类号： G06F3/04812 ,  G06F3/0481 ,  G06F3/04855 ,  G06F3/0488 ,  G06F2203/04808

摘要： Different techniques of processing user interactions with a computing system are described. In one implementation, an interactive display is configured to depict a graphical user interface which includes a plurality of different types of user interface elements (e.g., button-type element, scroll bar-type element). A user may use one or more user input object (e.g., finger, hand, stylus) to simultaneously interact with the interactive display. A plurality of different user input processing methods are used to process user inputs received by the graphical user interface differently and in accordance with the types of the user interface elements which are displayed. The processing of the user inputs is implemented to determine whether the user inputs control the respective user interface elements. The processing may determine whether the user inputs activate and/or manipulate the displayed user interface elements in but one example.

摘要翻译： 描述了处理与计算系统的用户交互的不同技术。 在一个实现中，交互式显示被配置为描绘包括多个不同类型的用户界面元素（例如，按钮类型元素，滚动条型元素）的图形用户界面。 用户可以使用一个或多个用户输入对象（例如，手指，手，手写笔）来同时与交互式显示器交互。 使用多个不同的用户输入处理方法来处理由图形用户界面接收的用户输入，并根据所显示的用户界面元素的类型进行不同的处理。 执行用户输入的处理以确定用户是否输入控制相应的用户界面元素。 该处理可以在一个示例中确定用户是否输入激活和/或操纵所显示的用户界面元素。

公开(公告)号：US08022942B2

公开(公告)日：2011-09-20

申请号：US11658000

申请日：2007-01-25

申请人： Steven N. Bathiche ,  Andrew D. Wilson

发明人： Steven N. Bathiche ,  Andrew D. Wilson

IPC分类号： G06F3/042

CPC分类号： G06F3/04886 ,  G06F3/0238 ,  G06F3/0421 ,  G06F2203/04109 ,  G06F2203/04809

摘要： A dynamic projected user interface device is disclosed, that includes a projector, a projection controller, and an imaging sensor. The projection controller is configured to receive instructions from a computing device, and to provide display images via the projector onto display surfaces. The display images are indicative of a first set of input controls when the computing device is in a first operating context, and a second set of input controls when the computing device is in a second operating context. The imaging sensor is configured to optically detect physical contacts with the one or more display surfaces.

摘要翻译： 公开了一种动态投影用户界面装置，其包括投影仪，投影控制器和成像传感器。 投影控制器被配置为从计算设备接收指令，并且经由投影仪将显示图像提供到显示表面上。 当计算设备处于第一操作环境中时，显示图像指示第一组输入控件，当计算设备处于第二操作上下文中时，显示图像指示第二组输入控件。 成像传感器被配置为光学地检测与一个或多个显示表面的物理接触。

公开(公告)号：US07970870B2

公开(公告)日：2011-06-28

申请号：US11166364

申请日：2005-06-24

申请人： Kenneth P. Hinckley ,  Andrew D. Wilson

发明人： Kenneth P. Hinckley ,  Andrew D. Wilson

IPC分类号： G06F15/177 ,  G06F3/00 ,  G06F3/01 ,  G06F3/041 ,  G09G5/00

CPC分类号： H04L67/08 ,  G06F3/038 ,  G06F2203/0384 ,  H04M1/7253

摘要： A unique system and method that facilitates extending input/output capabilities for resource deficient mobile devices and interactions between multiple heterogeneous devices is provided. The system and method involve an interactive surface to which the desired mobile devices can be connected. The interactive surface can provide an enhanced display space and customization controls for mobile devices that lack adequate displays and input capabilities. In addition, the interactive surface can be employed to permit communication and interaction between multiple mobile devices that otherwise are unable to interact with each other. When connected to the interactive surface, the mobile devices can share information, view information from their respective devices, and store information to the interactive surface. Furthermore, the interactive surface can resume activity states of mobile devices that were previously communicating upon re-connection to the surface.

摘要翻译： 提供了一种独特的系统和方法，有助于扩展资源不足的移动设备的输入/输出能力以及多个异构设备之间的交互。 该系统和方法涉及可以连接期望的移动设备的交互式表面。 交互式表面可以为缺少足够的显示和输入功能的移动设备提供增强的显示空间和定制控件。 此外，可以采用交互式表面以允许否则不能彼此交互的多个移动设备之间的通信和交互。 当连接到交互式表面时，移动设备可以共享信息，从相应设备查看信息，并将信息存储到交互式表面。 此外，交互式表面可以恢复以前在重新连接到表面时通信的移动设备的活动状态。

公开(公告)号：US07907128B2

公开(公告)日：2011-03-15

申请号：US12110032

申请日：2008-04-25

申请人： Steven Bathiche ,  David Joshua Kurlander ,  Andrew D. Wilson ,  Christina Summer Chen ,  Joel P. Dehlin

发明人： Steven Bathiche ,  David Joshua Kurlander ,  Andrew D. Wilson ,  Christina Summer Chen ,  Joel P. Dehlin

IPC分类号： G06F3/042 ,  G06F3/01

CPC分类号： A63F13/65 ,  A63F3/00643 ,  A63F9/183 ,  A63F13/00 ,  A63F13/213 ,  A63F2300/1075 ,  A63F2300/1087 ,  A63F2300/69 ,  G06F3/011 ,  G06F3/016 ,  G06F3/0425 ,  G06F3/04815

摘要： An interactive table has a display surface on which a physical object is disposed. A camera within the interactive table responds to infrared (IR) light reflected from the physical object enabling a location of the physical object on the display surface to be determined, so that the physical object appear part of a virtual environment displayed thereon. The physical object can be passive or active. An active object performs an active function, e.g., it can be self-propelled to move about on the display surface, or emit light or sound, or vibrate. The active object can be controlled by a user or the processor. The interactive table can project an image through a physical object on the display surface so the image appears part of the object. A virtual entity is preferably displayed at a position (and a size) to avoid visually interference with any physical object on the display surface.

摘要翻译： 交互式表具有设置物理对象的显示面。 交互式表中的相机响应于从物理对象反射的红外（IR）光，从而能够确定显示表面上的物理对象的位置，使得物理对象显示在其上显示的虚拟环境的一部分。 物理对象可以是被动的或主动的。 活动对象执行主动功能，例如，其可以自推进在显示表面上移动，或发出光或声音或振动。 活动对象可由用户或处理器控制。 交互式表格可以通过显示表面上的物理对象投影图像，从而将图像显示在对象的一部分中。 虚拟实体优选地在位置（和尺寸）处显示，以避免与显示表面上的任何物理对象的视觉干扰。

公开(公告)号：US07755517B2

公开(公告)日：2010-07-13

申请号：US11471009

申请日：2006-06-20

申请人： Raman K. Sarin ,  Andrew D. Wilson

发明人： Raman K. Sarin ,  Andrew D. Wilson

IPC分类号： G08G1/123

CPC分类号： G01C21/20 ,  G01C17/30

摘要： A mobile device is provided that includes a position determination mechanism, and a data store of locations including positions for each location. The mobile device is configured to determine its own position and, based on the position of the mobile device, which location is preferred. Upon that determination, the mobile device is configured to orient a pointer in the direction of the preferred location such that a user can move in the direction of the pointer and ultimately arrive at the preferred location.

摘要翻译： 提供一种移动设备，其包括位置确定机构和包括每个位置的位置的位置的数据存储。 移动设备被配置为确定其自己的位置，并且基于移动设备的位置优选哪个位置。 在该确定的情况下，移动设备被配置为沿着优选位置的方向定向指针，使得用户可以在指针的方向上移动并且最终到达优选位置。

公开(公告)号：US07665041B2

公开(公告)日：2010-02-16

申请号：US10396653

申请日：2003-03-25

申请人： Andrew D. Wilson ,  Nuria M. Oliver

发明人： Andrew D. Wilson ,  Nuria M. Oliver

IPC分类号： G06F3/048 ,  G06F3/033

CPC分类号： G06F3/017 ,  G06K9/00355

摘要： Architecture for implementing a perceptual user interface. The architecture comprises alternative modalities for controlling computer application programs and manipulating on-screen objects through hand gestures or a combination of hand gestures and verbal commands. The perceptual user interface system includes a tracking component that detects object characteristics of at least one of a plurality of objects within a scene, and tracks the respective object. Detection of object characteristics is based at least in part upon image comparison of a plurality of images relative to a course mapping of the images. A seeding component iteratively seeds the tracking component with object hypotheses based upon the presence of the object characteristics and the image comparison. A filtering component selectively removes the tracked object from the object hypotheses and/or at least one object hypothesis from the set of object hypotheses based upon predetermined removal criteria.

摘要翻译： 用于实现感性用户界面的体系结构。 该架构包括用于控制计算机应用程序和通过手势操纵屏幕对象或手势和语言命令的组合的替代模式。 感知用户界面系统包括跟踪部件，其检测场景内的多个对象中的至少一个的对象特征，并跟踪相应的对象。 对象特征的检测至少部分地基于多个图像相对于图像的路线映射的图像比较。 基于对象特征和图像比较的存在，种子组件将跟踪组件迭代地种子化对象假设。 过滤组件基于预定的去除标准，从目标假设集合中选择性地从对象假设和/或至少一个对象假设中移除跟踪对象。

公开(公告)号：US20100020026A1

公开(公告)日：2010-01-28

申请号：US12344377

申请日：2008-12-26

申请人： Hrvoje Benko ,  Andrew D. Wilson ,  Billy Chen ,  Ravin Balakrishnan ,  Patrick M. Baudisch

发明人： Hrvoje Benko ,  Andrew D. Wilson ,  Billy Chen ,  Ravin Balakrishnan ,  Patrick M. Baudisch

IPC分类号： G06F3/041 ,  G06F3/033

CPC分类号： G06F3/0486 ,  G06F3/041 ,  G06F3/042 ,  G06F3/0488 ,  G06F3/04883 ,  G06F2203/04808

摘要： Touch interaction with a curved display (e.g., a sphere, a hemisphere, a cylinder, etc.) is enabled through various user interface (UI) features. In an example embodiment, a curved display is monitored to detect a touch input. If a touch input is detected based on the act of monitoring, then one or more locations of the touch input are determined. Responsive to the determined one or more locations of the touch input, at least one user UI feature is implemented. Example UI features include an orb-like invocation gesture feature, a rotation-based dragging feature, a send-to-dark-side interaction feature, and an object representation and manipulation by proxy representation feature.

摘要翻译： 通过各种用户界面（UI）功能来实现与弯曲显示器（例如，球体，半球，圆柱体等）的触摸交互。 在示例实施例中，监视弯曲显示器以检测触摸输入。 如果基于监视动作检测到触摸输入，则确定触摸输入的一个或多个位置。 响应于所确定的触摸输入的一个或多个位置，实现了至少一个用户UI特征。 示例UI功能包括一个像球形的调用手势功能，一个基于旋转的拖动功能，一个发送到黑暗的交互功能，以及一个对象表示和代理表示功能的操纵。

公开(公告)号：US20090262070A1

公开(公告)日：2009-10-22

申请号：US12492178

申请日：2009-06-26

申请人： Andrew D. Wilson

发明人： Andrew D. Wilson

IPC分类号： G09G5/00

CPC分类号： G06F3/0421 ,  G06K9/00375 ,  H04N5/2256 ,  H04N5/33

摘要： Effects of undesired infrared light are reduced in an imaging system using an infrared light source. The desired infrared light source is activated and a first set of imaging data is captured during a first image capture interval. The desired infrared light source is then deactivated, and a second set of image data is captured during a second image capture interval. A composite set of image data is then generated by subtracting from first values in the first set of image data corresponding second values in the second set of image data. The composite set of image data thus includes a set of imaging where data all infrared signals are collected, including both signals resulting from the IR source and other IR signals, from which is subtracted imaging in which no signals result from the IR course, leaving image data including signals resulting only from the IR source.

摘要翻译： 在使用红外光源的成像系统中，不期望的红外光的影响降低。 期望的红外光源被激活，并且在第一图像捕获间隔期间捕获第一组成像数据。 然后停用期望的红外光源，并且在第二图像捕获间隔期间捕获第二组图像数据。 然后通过从第二组图像数据中的第一组图像数据中的第一值中减去第二组图像数据中的第二值来生成复合图像数据集合。 因此，复合图像数据集合包括一组成像，其中收集所有红外信号的数据，包括由IR源和其它IR信号产生的两个信号，从该IR成像中减去没有信号来自IR过程的图像，留下图像 数据包括仅从IR源产生的信号。