公开(公告)号：WO2015126973A2

公开(公告)日：2015-08-27

申请号：PCT/US2015016425

申请日：2015-02-18

Applicant: SNOWFLAKE COMPUTING INC

Inventor： DAGEVILLE BENOIT ,  CRUANES THIERRY ,  ZUKOWSKI MARCIN

IPC: G06F17/30

CPC classification number: G06F17/30575 ,  G06F9/4881 ,  G06F9/5016 ,  G06F9/5044 ,  G06F9/5083 ,  G06F9/5088 ,  G06F17/30106 ,  G06F17/302 ,  G06F17/30292 ,  G06F17/30315 ,  G06F17/30371 ,  G06F17/30445 ,  G06F17/30463 ,  G06F17/30466 ,  G06F17/3048 ,  G06F17/30498 ,  G06F17/30545 ,  G06F17/30598 ,  G06F17/30864 ,  G06F17/30867 ,  G06F17/30914 ,  H04L67/1095 ,  H04L67/1097 ,  H04L67/2842

Abstract: Example resource provisioning systems and methods are described. In one implementation, an execution platform accesses multiple remote storage devices. The execution platform includes multiple virtual warehouses, each of which includes a cache to store data retrieved from the remote storage devices and a processor that is independent of the remote storage devices. A resource manager is coupled to the execution platform and monitors received data processing requests and resource utilization. The resource manager also determines whether additional virtual warehouses are needed based on the data processing requests and the resource utilization. If additional virtual warehouses are needed, the resource manager provisions a new virtual warehouse.

Abstract translation: 描述了示例资源供应系统和方法。 在一个实现中，执行平台访问多个远程存储设备。 执行平台包括多个虚拟仓库，每个虚拟仓库包括用于存储从远程存储设备检索的数据的高速缓存以及独立于远程存储设备的处理器。 资源管理器耦合到执行平台并监视接收到的数据处理请求和资源利用。 资源管理器还根据数据处理请求和资源利用率确定是否需要附加的虚拟仓库。 如果需要额外的虚拟仓库，资源管理器会提供一个新的虚拟仓库。

公开(公告)号：WO2015126968A3

公开(公告)日：2015-10-15

申请号：PCT/US2015016418

申请日：2015-02-18

Applicant: SNOWFLAKE COMPUTING INC

Inventor： DAGEVILLE BENOIT ,  CRUANES THIERRY ,  ZUKOWSKI MARCIN

IPC: G06F15/16

CPC classification number: G06F17/30575 ,  G06F9/4881 ,  G06F9/5016 ,  G06F9/5044 ,  G06F9/5083 ,  G06F9/5088 ,  G06F17/30106 ,  G06F17/302 ,  G06F17/30292 ,  G06F17/30315 ,  G06F17/30371 ,  G06F17/30445 ,  G06F17/30463 ,  G06F17/30466 ,  G06F17/3048 ,  G06F17/30498 ,  G06F17/30545 ,  G06F17/30598 ,  G06F17/30864 ,  G06F17/30867 ,  G06F17/30914 ,  H04L67/1095 ,  H04L67/1097 ,  H04L67/2842

Abstract: Example data management systems and methods are described. In one implementation, a method identifies multiple files to process based on a received query and identifies multiple execution nodes available to process the multiple files. The method initially creates multiple scansets, each including a portion of the multiple files, and assigns each scanset to one of the execution nodes based on a file assignment model. The multiple scansets are processed by the multiple execution nodes. If the method determines that a particular execution node has finished processing all files in its assigned scanset, an unprocessed file is reassigned from another execution node to the particular execution node.

Abstract translation: 描述了示例数据管理系统和方法。 在一个实现中，方法基于接收到的查询识别要处理的多个文件，并识别可用于处理多个文件的多个执行节点。 该方法最初创建多个扫描集，每个扫描集都包含多个文件的一部分，并根据文件分配模型将每个扫描集分配给其中一个执行节点。 多个扫描集由多个执行节点处理。 如果该方法确定特定的执行节点已经完成处理其分配的扫描集中的所有文件，则将未处理的文件从另一个执行节点重新分配给特定的执行节点。