公开(公告)号：US20110276944A1

公开(公告)日：2011-11-10

申请号：US12776043

申请日：2010-05-07

申请人： Ruth Bergman ,  Alexei Lenedev ,  Omer Barkol ,  Ayelet Pnueli ,  Michael Pogrebisky ,  Sagi Schein ,  Marianne Hickey ,  Inbal Tadeski

发明人： Ruth Bergman ,  Alexei Lenedev ,  Omer Barkol ,  Ayelet Pnueli ,  Michael Pogrebisky ,  Sagi Schein ,  Marianne Hickey ,  Inbal Tadeski

IPC分类号： G06F9/44

CPC分类号： G06F11/3684 ,  G06F8/38

摘要： A computer displays a graphical user interface (GUI) that includes a control and receives text instructions in a natural language that describe a location of the control on the GUI. The text instructions instruct an application to perform a user interface (UI) event on the control.

摘要翻译： 计算机显示包括控制的图形用户界面（GUI），并以自然语言接收描述GUI上的控件位置的文本指令。 文本指令指示应用程序在控件上执行用户界面（UI）事件。

公开(公告)号：US08756571B2

公开(公告)日：2014-06-17

申请号：US12776043

申请日：2010-05-07

申请人： Ruth Bergman ,  Alexei Lenedev ,  Omer Barkol ,  Ayelet Pnueli ,  Michael Pogrebisky ,  Sagi Schein ,  Marianne Hickey ,  Inbal Tadeski

发明人： Ruth Bergman ,  Alexei Lenedev ,  Omer Barkol ,  Ayelet Pnueli ,  Michael Pogrebisky ,  Sagi Schein ,  Marianne Hickey ,  Inbal Tadeski

IPC分类号： G06F9/44

CPC分类号： G06F11/3684 ,  G06F8/38

摘要： A computer can display a graphical user interface (GUI) that includes a control. The GUI can receive text instructions in a natural language that describe a location of the control on the GUI. The text instructions can instruct an application to perform a user interface (UI) event on the control.

摘要翻译： 计算机可以显示包括控件的图形用户界面（GUI）。 GUI可以以描述GUI上的控件的位置的自然语言接收文本指令。 文本指令可以指示应用程序在控件上执行用户界面（UI）事件。

公开(公告)号：US09104450B2

公开(公告)日：2015-08-11

申请号：US12605418

申请日：2009-10-26

申请人： Sagi Schein ,  Omer Barkol ,  Ruth Bergman ,  Ayelet Pnueli ,  Michael Pogrebisky

发明人： Sagi Schein ,  Omer Barkol ,  Ruth Bergman ,  Ayelet Pnueli ,  Michael Pogrebisky

IPC分类号： G06N3/02 ,  G06N5/02 ,  G06N5/04 ,  G06F9/455

CPC分类号： G06F9/45512 ,  G06N3/02 ,  G06N5/02 ,  G06N5/04

摘要： Systems, methods, and other embodiments associated with graphical user interface (GUI) component classification are described. One example method includes generating a first vector. The first vector may be generated based on image data describing a GUI component. The example method may also include assigning a GUI component classifier to the GUI component. Assigning the GUI component classifier may comprise comparing the first vector to members of a vector set. Members of the vector set may describe GUI elements. The example method may also include providing the GUI component classifier.

摘要翻译： 描述了与图形用户界面（GUI）组件分类相关联的系统，方法和其他实施例。 一个示例性方法包括生成第一向量。 可以基于描述GUI组件的图像数据生成第一向量。 该示例方法还可以包括将GUI组件分类器分配给GUI组件。 分配GUI组件分类器可以包括将第一向量与矢量集的成员进行比较。 矢量集的成员可以描述GUI元素。 该示例方法还可以包括提供GUI组件分类器。

公开(公告)号：US08762873B2

公开(公告)日：2014-06-24

申请号：US12605426

申请日：2009-10-26

申请人： Ayelet Pnueli ,  Omer Barkol ,  Ruth Bergman ,  Michael Pogrebisky ,  Sagi Schein

发明人： Ayelet Pnueli ,  Omer Barkol ,  Ruth Bergman ,  Michael Pogrebisky ,  Sagi Schein

IPC分类号： G06F3/048

CPC分类号： G06F8/38

摘要： Systems, methods, and other embodiments associated with graphical user interface (GUI) component identification are described. One example method includes identifying a set of GUI components. The identifying may be based on a screen image of a GUI. The screen image may comprise data describing a visual representation of the GUI. The example method may also include providing data identifying the set of GUI components.

摘要翻译： 描述了与图形用户界面（GUI）组件标识相关联的系统，方法和其他实施例。 一个示例性方法包括识别一组GUI组件。 识别可以基于GUI的屏幕图像。 屏幕图像可以包括描述GUI的视觉表示的数据。 示例性方法还可以包括提供标识GUI组件集合的数据。

公开(公告)号：US20110099499A1

公开(公告)日：2011-04-28

申请号：US12605426

申请日：2009-10-26

申请人： Ayelet PNUELI ,  Omer Barkol ,  Ruth Bergman ,  Michael Pogrebisky ,  Sagi Schein

发明人： Ayelet PNUELI ,  Omer Barkol ,  Ruth Bergman ,  Michael Pogrebisky ,  Sagi Schein

IPC分类号： G06F3/048

CPC分类号： G06F8/38

摘要： Systems, methods, and other embodiments associated with graphical user interface (GUI) component identification are described. One example method includes identifying a set of GUI components. The identifying may be based on a screen image of a GUI. The screen image may comprise data describing a visual representation of the GUI. The example method may also include providing data identifying the set of GUI components.

摘要翻译： 描述了与图形用户界面（GUI）组件标识相关联的系统，方法和其他实施例。 一个示例性方法包括识别一组GUI组件。 识别可以基于GUI的屏幕图像。 屏幕图像可以包括描述GUI的视觉表示的数据。 示例性方法还可以包括提供标识GUI组件集合的数据。

公开(公告)号：US08549478B2

公开(公告)日：2013-10-01

申请号：US12629107

申请日：2009-12-02

申请人： Nitsan Amichai ,  Omer Barkol ,  Doron Shaked ,  Mani Fischer ,  Ayelet Pnueli ,  Sagi Schein ,  Michael Pogrebisky ,  Alexei Ledenev ,  Ilan Shufer ,  Vitali Greenberg

发明人： Nitsan Amichai ,  Omer Barkol ,  Doron Shaked ,  Mani Fischer ,  Ayelet Pnueli ,  Sagi Schein ,  Michael Pogrebisky ,  Alexei Ledenev ,  Ilan Shufer ,  Vitali Greenberg

IPC分类号： G06F9/44

CPC分类号： G06F11/3668

摘要： Systems, methods, and other embodiments associated with graphical user interface input element identification are described. One example system identifies a graphical user interface (GUI) element through which an input to an application was received based on comparing images generated from data provided by the application. Data that describes the GUI element may then be provided.

摘要翻译： 描述了与图形用户界面输入元件识别相关联的系统，方法和其他实施例。 一个示例性系统基于通过由应用提供的数据生成的比较图像来识别图形用户界面（GUI）元素，通过该图形用户界面（GUI）元素接收到应用的输入。 然后可以提供描述GUI元素的数据。

公开(公告)号：US20110131551A1

公开(公告)日：2011-06-02

申请号：US12629107

申请日：2009-12-02

申请人： Nitsan AMICHAI ,  Omer Barkol ,  Doron Shaked ,  Mani Fischer ,  Ayelet Pnueli ,  Sagi Schein ,  Michael Pogrebisky ,  Alexei Ledenev ,  Ilan Shufer ,  Vitali Greenberg

发明人： Nitsan AMICHAI ,  Omer Barkol ,  Doron Shaked ,  Mani Fischer ,  Ayelet Pnueli ,  Sagi Schein ,  Michael Pogrebisky ,  Alexei Ledenev ,  Ilan Shufer ,  Vitali Greenberg

IPC分类号： G06F9/44 ,  G06F3/01

CPC分类号： G06F11/3668

摘要： Systems, methods, and other embodiments associated with graphical user interface input element identification are described. One example system identifies a graphical user interface (GUI) element through which an input to an application was received based on comparing images generated from data provided by the application. Data that describes the GUI element may then be provided.

摘要翻译： 描述了与图形用户界面输入元件识别相关联的系统，方法和其他实施例。 一个示例性系统基于通过由应用提供的数据生成的比较图像来识别图形用户界面（GUI）元素，通过该图形用户界面（GUI）元素接收到应用的输入。 然后可以提供描述GUI元素的数据。

公开(公告)号：US10088969B2

公开(公告)日：2018-10-02

申请号：US14009580

申请日：2011-05-06

申请人： Sagi Schein ,  Omer Barkol ,  Ruth Bergman ,  David Lehavi ,  Ayelel Pnueli ,  Yonathan Livny

发明人： Sagi Schein ,  Omer Barkol ,  Ruth Bergman ,  David Lehavi ,  Ayelel Pnueli ,  Yonathan Livny

IPC分类号： G06F3/048 ,  G06F3/0481 ,  G06F11/36 ,  G06F9/455 ,  G06F9/451

摘要： In one implementation, an image-based automation process includes identifying a graphical object of a graphical user interface and performing an action relative to the graphical object at the graphical user interface. The identifying is based on an image including the graphical object.

公开(公告)号：US20140033091A1

公开(公告)日：2014-01-30

申请号：US14009580

申请日：2011-05-06

申请人： Sagi Schein ,  Omer Barkol ,  Ruth Bergman ,  David Lehavi ,  Ayelel Pnueli ,  Yonathan Livny

发明人： Sagi Schein ,  Omer Barkol ,  Ruth Bergman ,  David Lehavi ,  Ayelel Pnueli ,  Yonathan Livny

IPC分类号： G06F3/0481

CPC分类号： G06F3/0481 ,  G06F9/451 ,  G06F9/45512 ,  G06F11/3688

摘要： In one implementation, an image-based automation process includes identifying a graphical object of a graphical user interface and performing an action relative to the graphical object at the graphical user interface. The identifying is based on an image including the graphical object.

摘要翻译： 在一个实现中，基于图像的自动化过程包括识别图形用户界面的图形对象并且在图形用户界面处执行相对于图形对象的动作。 识别基于包括图形对象的图像。

公开(公告)号：US20120070040A1

公开(公告)日：2012-03-22

申请号：US13259390

申请日：2010-01-21

申请人： Marie Vans ,  Gidi Amir ,  Rodolfo Jodra ,  Omer Barkol ,  Ram Dagan ,  Avi Malki ,  Carl Staelin ,  Sagi Schein ,  Mani Fischer ,  Doron Shaked ,  Steven J. Simske

发明人： Marie Vans ,  Gidi Amir ,  Rodolfo Jodra ,  Omer Barkol ,  Ram Dagan ,  Avi Malki ,  Carl Staelin ,  Sagi Schein ,  Mani Fischer ,  Doron Shaked ,  Steven J. Simske

IPC分类号： G06K9/00

CPC分类号： G06T7/001 ,  B41F33/0036 ,  G06T2207/10024 ,  G06T2207/30144 ,  H04N1/00015 ,  H04N1/00029 ,  H04N1/00047 ,  H04N1/0005 ,  H04N1/40068

摘要： Automated inspection method for detecting a defect in a printed image, comprising processing a raster image, sending the raster image to a print process, printing a printed image corresponding to the raster image onto a medium, capturing a target image from at least a part of the printed image at a lower resolution than the printed image, at least in a medium moving direction, converting at least a part of the raster image to a reference image, and comparing the reference image to the target image.

摘要翻译： 用于检测打印图像中的缺陷的自动检查方法，包括处理光栅图像，将光栅图像发送到打印处理，将与光栅图像相对应的打印图像打印到介质上，从至少一部分拍摄目标图像 至少在中等移动方向上以比打印图像低的分辨率打印图像，将至少一部分光栅图像转换为参考图像，并将参考图像与目标图像进行比较。