公开(公告)号：US20120259910A1

公开(公告)日：2012-10-11

申请号：US13495534

申请日：2012-06-13

申请人： Henrique Andrade ,  Bugra Gedik ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Kun-Lung Wu

IPC分类号： G06F15/16 ,  G06F9/45

CPC分类号： G06F9/5066 ,  G06F17/30516 ,  G06F17/30545

摘要： Techniques for generating a distributed stream processing application are provided. The techniques include obtaining a declarative description of one or more data stream processing tasks from a graph of operators, wherein the declarative description expresses at least one stream processing task, generating one or more containers that encompass a combination of one or more stream processing operators, and generating one or more execution units from the declarative description of one or more data stream processing tasks, wherein the one or more execution units are deployable across one or more distributed computing nodes, and comprise a distributed data stream processing application binary.

摘要翻译： 提供了用于生成分布式流处理应用的技术。 这些技术包括从运算符的图形获得一个或多个数据流处理任务的声明性描述，其中所述声明性描述表达至少一个流处理任务，生成包含一个或多个流处理算子的组合的一个或多个容器， 以及从一个或多个数据流处理任务的声明性描述生成一个或多个执行单元，其中所述一个或多个执行单元可跨越一个或多个分布式计算节点部署，并且包括分布式数据流处理应用程序二进制。

公开(公告)号：US08285780B2

公开(公告)日：2012-10-09

申请号：US12791484

申请日：2010-06-01

申请人： Henrique Andrade ,  Bugra Gedik ,  Martin J. Hirzel ,  Vibhore Kumar ,  Giuliano Losa ,  Robert J. Soule ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Martin J. Hirzel ,  Vibhore Kumar ,  Giuliano Losa ,  Robert J. Soule ,  Kun-Lung Wu

IPC分类号： G06F15/16

CPC分类号： G06F9/548 ,  G06F8/35

摘要： State sharing is facilitated in stream processing environments, including distributed stream processing environments. A customized shared state implementation representing the state to be shared is automatically created based on at least one of user preferences, hints of usage, and system performance.

摘要翻译： 在流处理环境（包括分布式流处理环境）中便利了状态共享。 基于用户偏好，使用提示和系统性能中的至少一个，自动创建表示要共享的状态的定制共享状态实现。

公开(公告)号：US20110295939A1

公开(公告)日：2011-12-01

申请号：US12791484

申请日：2010-06-01

申请人： Henrique Andrade ,  Bugra Gedik ,  Martin J. Hirzel ,  Vibhore Kumar ,  Giuliano Losa ,  Robert J. Soule ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Martin J. Hirzel ,  Vibhore Kumar ,  Giuliano Losa ,  Robert J. Soule ,  Kun-Lung Wu

IPC分类号： G06F15/16 ,  G06F15/177

CPC分类号： G06F9/548 ,  G06F8/35

摘要： State sharing is facilitated in stream processing environments, including distributed stream processing environments. A customized shared state implementation representing the state to be shared is automatically created based on at least one of user preferences, hints of usage, and system performance.

摘要翻译： 在流处理环境（包括分布式流处理环境）中便利了状态共享。 基于用户偏好，使用提示和系统性能中的至少一个，自动创建表示要共享的状态的定制共享状态实现。

公开(公告)号：US20110225584A1

公开(公告)日：2011-09-15

申请号：US12721649

申请日：2010-03-11

申请人： Henrique Andrade ,  Bugra Gedik ,  Vibhore Kumar ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Vibhore Kumar ,  Kun-Lung Wu

IPC分类号： G06F9/50

CPC分类号： G06F9/50 ,  G06F11/3447

摘要： Data analysis applications include model building components and stream processing components. To increase utility of the data analysis application, in one embodiment, the model building component of the data analysis application is managed. Management includes resource allocation and/or configuration adaptation of the model building component, as examples.

摘要翻译： 数据分析应用程序包括模型构建组件和流处理组件。 为了增加数据分析应用的实用性，在一个实施例中，管理数据分析应用的模型构建组件。 例如，管理包括模型构建组件的资源分配和/或配置适配。

公开(公告)号：US20100293283A1

公开(公告)日：2010-11-18

申请号：US12464599

申请日：2009-05-12

申请人： HENRIQUE ANDRADE ,  Bugra Gedik ,  Kun-Lung Wu

发明人： HENRIQUE ANDRADE ,  Bugra Gedik ,  Kun-Lung Wu

IPC分类号： G06F15/16

CPC分类号： G06F9/547

摘要： One embodiment of a method for on-demand de-marshalling of a network message includes receiving a first network message at a receiver device, wherein the first network message was sent from a sender device, and wherein the first network message comprises one or more attributes that characterize an object at the sender device, and further wherein the first network message is in an encoded format according to a network protocol, storing the first network message in a buffer of the receiver device in the encoded format, identifying, at the receiver device and prior to de-marshalling of any of the attributes, that at least one of the attributes is to be manipulated by the receiver device, de-marshalling, in response to the identifying, the identified attribute(s), and manipulating the identified attribute(s) at the receiver device.

摘要翻译： 用于网络消息的按需解组合的方法的一个实施例包括在接收机设备处接收第一网络消息，其中从发送方设备发送第一网络消息，并且其中第一网络消息包括一个或多个属性 其特征在于在所述发送方设备处的对象，并且其中所述第一网络消息是根据网络协议的编码格式，以所述编码格式将所述第一网络消息存储在所述接收机设备的缓冲器中，以在所述接收机设备 并且在对任何属性进行解组之前，至少一个属性将由接收机设备操纵，响应于识别所识别的属性而解组，并操纵所识别的属性 （s）在接收机设备。

公开(公告)号：US20090300615A1

公开(公告)日：2009-12-03

申请号：US12130043

申请日：2008-05-30

申请人： Henrique Andrade ,  Bugra Gedik ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Kun-Lung Wu

IPC分类号： G06F9/46

CPC分类号： G06F9/5066 ,  G06F17/30516 ,  G06F17/30545

摘要： Techniques for generating a distributed stream processing application are provided. The techniques include obtaining a declarative description of one or more data stream processing tasks, wherein the declarative description expresses at least one stream processing task, and generating one or more execution units from the declarative description of one or more data stream processing tasks, wherein the one or more execution units are deployable across one or more distributed computing nodes, and comprise a distributed data stream processing application.

摘要翻译： 提供了用于生成分布式流处理应用的技术。 这些技术包括获得一个或多个数据流处理任务的声明性描述，其中所述声明性描述表达至少一个流处理任务，并且从一个或多个数据流处理任务的声明性描述生成一个或多个执行单元，其中， 一个或多个执行单元可跨越一个或多个分布式计算节点部署，并且包括分布式数据流处理应用。

公开(公告)号：US08949801B2

公开(公告)日：2015-02-03

申请号：US12465215

申请日：2009-05-13

申请人： Henrique Andrade ,  Bugra Gedik ,  Gabriela Jacques da Silva ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Gabriela Jacques da Silva ,  Kun-Lung Wu

IPC分类号： G06F9/45 ,  G06F11/14 ,  G06F11/07 ,  G06F11/00

CPC分类号： G06F11/1438 ,  G06F11/00 ,  G06F11/07 ,  G06F11/1471

摘要： In one embodiment, the invention is a method and apparatus for failure recovery for stream processing applications. One embodiment of a method for providing a failure recovery mechanism for a stream processing application includes receiving source code for the stream processing application, wherein the source code defines a fault tolerance policy for each of the components of the stream processing application, and wherein respective fault tolerance policies defined for at least two of the plurality of components are different, generating a sequence of instructions for converting the state(s) of the component(s) into a checkpoint file comprising a sequence of storable bits on a periodic basis, according to a frequency defined in the fault tolerance policy, initiating execution of the stream processing application, and storing the checkpoint file, during execution of the stream processing application, at a location that is accessible after failure recovery.

摘要翻译： 在一个实施例中，本发明是用于流处理应用的故障恢复的方法和装置。 提供用于流处理应用的故障恢复机制的方法的一个实施例包括接收流处理应用的源代码，其中源代码为流处理应用的每个组件定义容错策略，并且其中相应的故障 为多个组件中的至少两个组件定义的容限策略是不同的，根据所述多个组件中的至少两个组件生成用于将组件的状态转换成包括可存储位序列的检查点文件的指令序列， 在容错策略中定义的频率，启动流处理应用的执行，以及在执行流处理应用期间将检查点文件存储在故障恢复之后可访问的位置。

公开(公告)号：US08601458B2

公开(公告)日：2013-12-03

申请号：US12465757

申请日：2009-05-14

申请人： Henrique Andrade ,  Bugra Gedik ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Kun-Lung Wu

IPC分类号： G06F9/45

CPC分类号： G06F8/44 ,  G06F8/433

摘要： Techniques for compiling a data stream processing application are provided. The techniques include receiving, by a compiler executing on a computer system, source code for a data stream processing application, wherein the source code comprises source code for a plurality of operators, each of which performs a data processing function, determining, by the compiler, one or more characteristics of operators within the data stream processing application, grouping, by the compiler, the operators into one or more execution containers based on the one or more characteristics, and compiling, by the compiler, the source code for the data stream processing application into executable code, wherein the executable code comprises a plurality of execution units, wherein each execution unit contains one or more of the operators, wherein each operator is assigned to an execution unit based on the grouping, and wherein each execution unit is to be executed in a partition.

摘要翻译： 提供了用于编译数据流处理应用的技术。 这些技术包括由在计算机系统上执行的编译器接收用于数据流处理应用的源代码，其中源代码包括用于多个运算符的源代码，每个运算符执行数据处理功能，由编译器确定 ，数据流处理应用中的运算符的一个或多个特征，由编译器根据一个或多个特征将运算符分组为一个或多个执行容器，并由编译器编译数据流的源代码 将应用程序处理成可执行代码，其中可执行代码包括多个执行单元，其中每个执行单元包含一个或多个运算符，其中每个运算符基于分组被分配给执行单元，并且其中每个执行单元是 在一个分区中执行。

公开(公告)号：US08495595B2

公开(公告)日：2013-07-23

申请号：US12749947

申请日：2010-03-30

申请人： Henrique Andrade ,  Bugra Gedik ,  Mark Mendell ,  Howard W. Nasgaard ,  Kun-Lung Wu

发明人： Henrique Andrade ,  Bugra Gedik ,  Mark Mendell ,  Howard W. Nasgaard ,  Kun-Lung Wu

IPC分类号： G06F9/45

CPC分类号： G06F9/45516 ,  G06F8/51

摘要： A method and computer program product for selecting an expression evaluation technique for domain-specific language (DSL) compilation. An application written in DSL for a programming task is provided, the application including a plurality of components configured by expressions. A technique that most quickly implements the programming task is selected from a plurality of techniques for evaluating the expressions. The DSL application is compiled in accordance with the selected expression evaluation technique to generate general-purpose programming language (GPL) code.

摘要翻译： 一种用于选择域特定语言（DSL）编译的表达评估技术的方法和计算机程序产品。 提供了一种用DSL编写的用于编程任务的应用程序，该应用程序包括由表达式配置的多个组件。 从用于评估表达式的多种技术中选择最快速地实现编程任务的技术。 DSL应用程序根据所选择的表达式评估技术进行编译，以生成通用编程语言（GPL）代码。

公开(公告)号：US08321443B2

公开(公告)日：2012-11-27

申请号：US12876348

申请日：2010-09-07

申请人： Henrique Andrade ,  Bugra Gedik ,  Martin J. Hirzel ,  Robert J. Soule ,  Huayong Wang ,  Kun-Lung Wu ,  Qiong Zou

发明人： Henrique Andrade ,  Bugra Gedik ,  Martin J. Hirzel ,  Robert J. Soule ,  Huayong Wang ,  Kun-Lung Wu ,  Qiong Zou

IPC分类号： G06F17/30

CPC分类号： G06F17/3056

摘要： An Open Database Connectivity (ODBC) proxy infrastructure to transparently route incoming queries to one or more selected query engines. The ODBC proxy receives a query from an application, and determines based on the characteristics of the query and the capabilities of the query engines which one or more query engines are to perform the query. The proxy then routes the query to the one or more query engines, which perform the query. The results are then returned to the proxy, which provides the results to the application.

摘要翻译： 开放数据库连接（ODBC）代理基础架构，用于将传入的查询透明地路由到一个或多个选定的查询引擎。 ODBC代理从应用程序接收查询，并根据查询的特征以及一个或多个查询引擎执行查询的查询引擎的功能进行确定。 然后，代理将查询路由到一个或多个执行查询的查询引擎。 然后将结果返回给代理，该代理将结果提供给应用程序。