公开(公告)号：US20110227947A1

公开(公告)日：2011-09-22

申请号：US12725231

申请日：2010-03-16

申请人： Hrvoje Benko ,  Shahram Izadi ,  Andrew D. Wilson ,  Daniel Rosenfeld ,  Ken Hinckley ,  Xiang Cao ,  Nicolas Villar ,  Stephen Hodges

发明人： Hrvoje Benko ,  Shahram Izadi ,  Andrew D. Wilson ,  Daniel Rosenfeld ,  Ken Hinckley ,  Xiang Cao ,  Nicolas Villar ,  Stephen Hodges

IPC分类号： G09G5/08 ,  G09G5/00 ,  G06F3/041 ,  G06F3/033

CPC分类号： G06F3/04883 ,  G06F3/03543 ,  G06F2203/04808

摘要： Multi-touch user interface interaction is described. In an embodiment, an object in a user interface (UI) is manipulated by a cursor and a representation of a plurality of digits of a user. At least one parameter, which comprises the cursor location in the UI, is used to determine that multi-touch input is to be provided to the object. Responsive to this, the relative movement of the digits is analyzed and the object manipulated accordingly. In another embodiment, an object in a UI is manipulated by a representation of a plurality of digits of a user. Movement of each digit by the user moves the corresponding representation in the UI, and the movement velocity of the representation is a non-linear function of the digit's velocity. After determining that multi-touch input is to be provided to the object, the relative movement of the representations is analyzed and the object manipulated accordingly.

摘要翻译： 描述了多点触控用户界面交互。 在一个实施例中，用户界面（UI）中的对象由光标和用户的多个数字的表示来操纵。 包括UI中的光标位置的至少一个参数用于确定要向对象提供多点触摸输入。 响应于此，分析数字的相对运动，并相应地操纵对象。 在另一个实施例中，UI中的对象由用户的多个数字的表示来操纵。 用户的每个数字的移动将移动UI中的​​相应表示，并且表示的移动速度是数字速度的非线性函数。 在确定要向对象提供多点触摸输入之后，分析表示的相对运动并相应地进行操作。

公开(公告)号：US20110025601A1

公开(公告)日：2011-02-03

申请号：US12904820

申请日：2010-10-14

申请人： Andrew D. Wilson ,  Michael J. Sinclair

发明人： Andrew D. Wilson ,  Michael J. Sinclair

IPC分类号： G09G5/00

CPC分类号： G06F3/017 ,  G06F3/0304 ,  G06F3/04815 ,  G06F3/04845

摘要： Virtual controllers for visual displays are described. In one implementation, a camera captures an image of hands against a background. The image is segmented into hand areas and background areas. Various hand and finger gestures isolate parts of the background into independent areas, which are then assigned control parameters for manipulating the visual display. Multiple control parameters can be associated with attributes of multiple independent areas formed by two hands, for advanced control including simultaneous functions of clicking, selecting, executing, horizontal movement, vertical movement, scrolling, dragging, rotational movement, zooming, maximizing, minimizing, executing file functions, and executing menu choices.

摘要翻译： 描述了用于视觉显示的虚拟控制器。 在一个实现中，相机在背景上拍摄手的图像。 图像被分割为手区域和背景区域。 各种手指和手指手势将背景的一部分隔离成独立的区域，然后分配控制参数以操纵视觉显示。 多个控制参数可以与由双手形成的多个独立区域的属性相关联，用于高级控制，包括点击，选择，执行，水平移动，垂直移动，滚动，拖动，旋转移动，缩放，最大化，最小化，执行的同时功能 文件功能和执行菜单选项。

公开(公告)号：US20100313150A1

公开(公告)日：2010-12-09

申请号：US12477426

申请日：2009-06-03

申请人： Meredith J. Morris ,  Steven N. Bathiche ,  Stephen Edward Hodges ,  Ian C. LeGrow ,  Victor Kevin Russ ,  Ian M. Sands ,  William J. Westerinen ,  John Christopher Whytock ,  Andrew D. Wilson ,  David Alexander Butler ,  Shahram Izadi

发明人： Meredith J. Morris ,  Steven N. Bathiche ,  Stephen Edward Hodges ,  Ian C. LeGrow ,  Victor Kevin Russ ,  Ian M. Sands ,  William J. Westerinen ,  John Christopher Whytock ,  Andrew D. Wilson ,  David Alexander Butler ,  Shahram Izadi

IPC分类号： G06F3/00

CPC分类号： G06F9/452

摘要： The claimed subject matter relates to a display that is physically separable and to an associated architecture that can facilitate data mobility or collaboration in connection with the separable display. In particular, the separable display can be configured as an apparent unitary or singular UI for an associated multi-node computer, yet for which portion of the separable display can be physically decoupled. The multi-node computer can include a set of computing nodes, each of which can potentially operate autonomously, yet also in unison with other nodes to form a collective multiprocessor computing platform. Moreover, each of the computing nodes can be embedded in and distributed throughout the separable display. Accordingly, when a portion of the separable display is decoupled from a remainder of the separable display, both the portion and the remainder can include some subset of the computing nodes, and can therefore maintain the UI.

摘要翻译： 所要求保护的主题涉及物理上可分离的显示器以及可以促进与可分离显示器相关联的数据移动或协作的关联体系结构。 特别地，可分离显示器可以被配置为相关联的多节点计算机的明显的单一或单个UI，但是可分离显示器的哪个部分可以被物理去耦。 多节点计算机可以包括一组计算节点，每个节点可以潜在地自主地运行，而且还与其他节点一致以形成集体多处理器计算平台。 此外，每个计算节点可以嵌入并分布在可分离显示器中。 因此，当可分离显示器的一部分与可分离显示器的其余部分分离时，部分和剩余部分都可以包括计算节点的一些子集，并且因此可以维护UI。

公开(公告)号：US20100138798A1

公开(公告)日：2010-06-03

申请号：US12457656

申请日：2009-06-17

申请人： Andrew D. Wilson ,  Nuria M. Oliver

发明人： Andrew D. Wilson ,  Nuria M. Oliver

IPC分类号： G06F3/033

CPC分类号： G06F3/017 ,  A63F13/211 ,  A63F13/213 ,  A63F13/42 ,  A63F13/428 ,  A63F2300/1093 ,  G06F3/011 ,  G06F3/012 ,  G06F3/013 ,  G06F3/0346 ,  G06F3/038 ,  G06K9/00335 ,  G06K9/00355 ,  G06T7/20 ,  G06T7/285 ,  G06T7/593 ,  H04N13/128 ,  H04N13/239 ,  H04N13/366 ,  H04N2013/0081

摘要： A 3-D imaging system for recognition and interpretation of gestures to control a computer. The system includes a 3-D imaging system that performs gesture recognition and interpretation based on a previous mapping of a plurality of hand poses and orientations to user commands for a given user. When the user is identified to the system, the imaging system images gestures presented by the user, performs a lookup for the user command associated with the captured image(s), and executes the user command(s) to effect control of the computer, programs, and connected devices.

摘要翻译： 用于识别和解释手势以控制计算机的3-D成像系统。 该系统包括一个3-D成像系统，其基于对于给定用户的多个手姿势和朝向用户命令的先前映射来执行手势识别和解释。 当用户被识别到系统时，成像系统将用户呈现的姿势图像进行与所捕获的图像相关联的用户命令的查找，并且执行用户命令以实现计算机的控制， 程序和连接的设备。

公开(公告)号：US07605804B2

公开(公告)日：2009-10-20

申请号：US11119504

申请日：2005-04-29

申请人： Andrew D. Wilson

发明人： Andrew D. Wilson

IPC分类号： G06F3/041 ,  G06F3/048

CPC分类号： G06F3/0488

摘要： A system to position an element on a visual display is provided. The disclosed system comprises a touch detection module that detects a touch upon a touch-sensitive surface of a visual display. Also included is a position module that receives input from the touch detection module to derive a position of a touch. Further, an offset module derives an offset for an element of a user interface. Methods of using this system are also provided.

摘要翻译： 提供了将元件定位在视觉显示器上的系统。 所公开的系统包括检测视觉显示器的触敏表面上的触摸的触摸检测模块。 还包括位置模块，其接收来自触摸检测模块的输入以导出触摸的位置。 此外，偏移模块导出用户界面的元素的偏移量。 还提供了使用该系统的方法。

公开(公告)号：US07599561B2

公开(公告)日：2009-10-06

申请号：US11363750

申请日：2006-02-28

申请人： Andrew D. Wilson ,  Steven Bathiche

发明人： Andrew D. Wilson ,  Steven Bathiche

IPC分类号： G06K9/48 ,  G06K9/32

CPC分类号： G03B29/00 ,  G03B21/008 ,  G06F3/0425

摘要： The subject application relates to a system(s) and/or methodology that facilitate vision-based projection of any image (still or moving) onto any surface. In particular, a front-projected computer vision-based interactive surface system is provided which uses a new commercially available projection technology to obtain a compact, self-contained form factor. The subject configuration addresses installation, calibration, and portability issues that are primary concerns in most vision-based table systems.

摘要翻译： 本申请涉及促进将任何图像（静止或移动）到任何表面上的基于视觉的投影的系统和/或方法。 特别地，提供了一种基于前投影计算机视觉的交互式表面系统，其使用新的市售投影技术来获得紧凑的，独立的形状因子。 主题配置解决了大多数基于视觉的表系统中的主要问题的安装，校准和可移植性问题。

公开(公告)号：US08427424B2

公开(公告)日：2013-04-23

申请号：US12241281

申请日：2008-09-30

申请人： Björn U. Hartmann ,  Andrew D. Wilson ,  Hrvoje Benko ,  Meredith J. Morris

发明人： Björn U. Hartmann ,  Andrew D. Wilson ,  Hrvoje Benko ,  Meredith J. Morris

IPC分类号： G09G5/00 ,  G06F3/02

CPC分类号： G06F17/241 ,  G06F3/0325 ,  G06F3/03543 ,  G06F3/0416 ,  G06F3/0421 ,  G06F3/04812 ,  G06F3/0482 ,  G06F3/04845 ,  G06F3/04883 ,  G06F3/04886 ,  G06F17/242 ,  G06F17/30017 ,  G06F2203/04808

摘要： An interaction management module (IMM) is described for allowing users to engage an interactive surface in a collaborative environment using various input devices, such as keyboard-type devices and mouse-type devices. The IMM displays digital objects on the interactive surface that are associated with the devices in various ways. The digital objects can include input display interfaces, cursors, soft-key input mechanisms, and so on. Further, the IMM provides a mechanism for establishing a frame of reference for governing the placement of each cursor on the interactive surface. Further, the IMM provides a mechanism for allowing users to make a digital copy of a physical article placed on the interactive surface. The IMM also provides a mechanism which duplicates actions taken on the digital copy with respect to the physical article, and vice versa.

摘要翻译： 描述了交互管理模块（IMM），用于允许用户使用各种输入设备（例如键盘型设备和鼠标型设备）在协作环境中参与交互式表面。 IMM以各种方式显示与设备相关联的交互式表面上的数字对象。 数字对象可以包括输入显示界面，光标，软键输入机制等。 此外，IMM提供用于建立用于管理每个光标在交互式表面上的放置的参考框架的机制。 此外，IMM提供了允许用户制作放置在交互式表面上的物理物品的数字副本的机制。 IMM还提供了一种机制，可以复制关于物理文章对数字副本采取的操作，反之亦然。

公开(公告)号：US20120212509A1

公开(公告)日：2012-08-23

申请号：US13074041

申请日：2011-03-29

申请人： Hrvoje Benko ,  Ricardo Jorge Jota Costa ,  Andrew D. Wilson

发明人： Hrvoje Benko ,  Ricardo Jorge Jota Costa ,  Andrew D. Wilson

IPC分类号： G09G5/00

CPC分类号： G03B35/00 ,  G02B27/017 ,  G06F3/01 ,  G06F3/033 ,  G06T19/006 ,  H04N13/156 ,  H04N13/275

摘要： An interaction system is described which uses a depth camera to capture a depth image of a physical object placed on, or in vicinity to, an interactive surface. The interaction system also uses a video camera to capture a video image of the physical object. The interaction system can then generate a 3D virtual object based on the depth image and video image. The interaction system then uses a 3D projector to project the 3D virtual object back onto the interactive surface, e.g., in a mirrored relationship to the physical object. A user may then capture and manipulate the 3D virtual object in any manner. Further, the user may construct a composite model based on smaller component 3D virtual objects. The interaction system uses a projective texturing technique to present a realistic-looking 3D virtual object on a surface having any geometry.

摘要翻译： 描述了一种交互系统，其使用深度相机来捕获放置在交互式表面上或附近的物理对象的深度图像。 交互系统还使用摄像机来捕获物理对象的视频图像。 然后，交互系统可以基于深度图像和视频图像生成3D虚拟对象。 交互系统然后使用3D投影仪将3D虚拟对象投影回到交互式表面上，例如与物理对象的镜像关系。 然后，用户可以以任何方式捕获和操纵3D虚拟对象。 此外，用户可以基于较小的组件3D虚拟对象来构建复合模型。 交互系统使用投影纹理技术在具有任何几何形状的表面上呈现逼真的3D虚拟对象。

公开(公告)号：US08115732B2

公开(公告)日：2012-02-14

申请号：US12428492

申请日：2009-04-23

申请人： Andrew D. Wilson ,  Michael J. Sinclair

发明人： Andrew D. Wilson ,  Michael J. Sinclair

IPC分类号： G06G5/00

CPC分类号： G06F3/017 ,  G06F3/0304 ,  G06F3/04815 ,  G06F3/04845

摘要： Virtual controllers for visual displays are described. In one implementation, a camera captures an image of hands against a background. The image is segmented into hand areas and background areas. Various hand and finger gestures isolate parts of the background into independent areas, which are then assigned control parameters for manipulating the visual display. Multiple control parameters can be associated with attributes of multiple independent areas formed by two hands, for advanced control including simultaneous functions of clicking, selecting, executing, horizontal movement, vertical movement, scrolling, dragging, rotational movement, zooming, maximizing, minimizing, executing file functions, and executing menu choices.

摘要翻译： 描述了用于视觉显示的虚拟控制器。 在一个实现中，相机在背景上拍摄手的图像。 图像被分割为手区域和背景区域。 各种手指和手指手势将背景的一部分隔离成独立的区域，然后分配控制参数以操纵视觉显示。 多个控制参数可以与由双手形成的多个独立区域的属性相关联，用于高级控制，包括点击，选择，执行，水平移动，垂直移动，滚动，拖动，旋转移动，缩放，最大化，最小化，执行的同时功能 文件功能和执行菜单选项。

公开(公告)号：US20110271216A1

公开(公告)日：2011-11-03

申请号：US12772864

申请日：2010-05-03

申请人： Andrew D. Wilson

发明人： Andrew D. Wilson

IPC分类号： G06F3/048

CPC分类号： G06F3/04812 ,  G06F3/0481 ,  G06F3/04855 ,  G06F3/0488 ,  G06F2203/04808

摘要： Different techniques of processing user interactions with a computing system are described. In one implementation, an interactive display is configured to depict a graphical user interface which includes a plurality of different types of user interface elements (e.g., button-type element, scroll bar-type element). A user may use one or more user input object (e.g., finger, hand, stylus) to simultaneously interact with the interactive display. A plurality of different user input processing methods are used to process user inputs received by the graphical user interface differently and in accordance with the types of the user interface elements which are displayed. The processing of the user inputs is implemented to determine whether the user inputs control the respective user interface elements. The processing may determine whether the user inputs activate and/or manipulate the displayed user interface elements in but one example.

摘要翻译： 描述了处理与计算系统的用户交互的不同技术。 在一个实现中，交互式显示被配置为描绘包括多个不同类型的用户界面元素（例如，按钮类型元素，滚动条型元素）的图形用户界面。 用户可以使用一个或多个用户输入对象（例如，手指，手，手写笔）来同时与交互式显示器交互。 使用多个不同的用户输入处理方法来处理由图形用户界面接收的用户输入，并根据所显示的用户界面元素的类型进行不同的处理。 执行用户输入的处理以确定用户是否输入控制相应的用户界面元素。 该处理可以在一个示例中确定用户是否输入激活和/或操纵所显示的用户界面元素。