公开(公告)号：US08868576B1

公开(公告)日：2014-10-21

申请号：US13536369

申请日：2012-06-28

申请人： Sorin Faibish ,  John M. Bent ,  Percy Tzelnic ,  Gary Grider ,  Adam Manzanares ,  Aaron Torres

发明人： Sorin Faibish ,  John M. Bent ,  Percy Tzelnic ,  Gary Grider ,  Adam Manzanares ,  Aaron Torres

IPC分类号： G06F17/30

CPC分类号： G06F17/3056 ,  G06F17/30091

摘要： Techniques are provided for storing files in a parallel computing system based on a user-specified parser function. A plurality of files generated by a distributed application in a parallel computing system are stored by obtaining a parser from the distributed application for processing the plurality of files prior to storage; and storing one or more of the plurality of files in one or more storage nodes of the parallel computing system based on the processing by the parser. The plurality of files comprise one or more of a plurality of complete files and a plurality of sub-files. The parser can optionally store only those files that satisfy one or more semantic requirements of the parser. The parser can also extract metadata from one or more of the files and the extracted metadata can be stored with one or more of the plurality of files and used for searching for files.

摘要翻译： 提供了用于基于用户指定的解析器功能在并行计算系统中存储文件的技术。 由并行计算系统中的分布式应用程序生成的多个文件通过从分布式应用程序获得解析器来存储，用于在存储之前处理多个文件; 以及基于所述解析器的处理，将所述多个文件中的一个或多个存储在所述并行计算系统的一个或多个存储节点中。 多个文件包括多个完整文件和多个子文件中的一个或多个。 解析器可以可选地仅存储满足解析器的一个或多个语义要求的那些文件。 解析器还可以从一个或多个文件中提取元数据，并且所提取的元数据可以与多个文件中的一个或多个文件一起存储并用于搜索文件。