公开(公告)号：CN106055691A

公开(公告)日：2016-10-26

申请号：CN201610406253.8

申请日：2016-06-12

申请人： 成都科来软件有限公司 ,  国家计算机网络与信息安全管理中心

发明人： 李轶夫 ,  罗鹰 ,  林康 ,  钟峰 ,  鲁骁 ,  姚珊 ,  姜栋 ,  张建松 ,  司成祥

IPC分类号： G06F17/30 ,  H04L29/08

CPC分类号： G06F16/13 ,  H04L67/1097

摘要： 本发明提供了一种分布式数据存储处理方法及存储处理系统。对大批量来源数据，按照等比大小进行切分为M个数据块，对每个切分的数据块里的每条数据建立索引并进行存储；将所述M个数据块一一对应分别发送给N个不同的服务器，进行存储。能够满足现有大数据量情况下，数据处理速度更快、耗时更短，时效性更强，支持数据的修改与删除操作，并能够提供实时查询功能。

公开(公告)号：CN107682399A

公开(公告)日：2018-02-09

申请号：CN201710753611.7

申请日：2017-08-29

申请人： 中国信息安全测评中心 ,  成都科来软件有限公司

发明人： 孟祥杰 ,  田斌 ,  张利 ,  易锦 ,  刘照辉 ,  胡卫华 ,  梁杰 ,  姚原岗 ,  偰赓 ,  刘遥 ,  张鹏 ,  罗鹰 ,  侯勇军 ,  钟峰 ,  田红伟 ,  陈伟清 ,  刘智

IPC分类号： H04L29/08 ,  G06F17/30

摘要： 本发明公开了一种基于大数据的文件夹断点续传方法，其特征在于，包括以下步骤：步骤1：客服端选择待上传文件夹，并向NameNode服务器发送文件上传请求；步骤2：NameNode服务器解析并获取待上传文件夹的协议头信息，同时根据获取的协议头信息生成该待上传文件夹的数据信息等步骤。本发明将生成的待上传文件夹的数据信息存入NameNode服务器的内存数据库中，从而对NameNode服务器进行改造，使服务器支持文件夹的断点续传；当文件夹在上传的过程中其内部的文件出现上传失败时，下一次上传则可以从断点位置开始将剩余未上传的文件进行上传，而无需从头开始重新上传文件夹，因此其极大的提高了文件夹的上传效率。

公开(公告)号：CN107682399B

公开(公告)日：2020-07-14

申请号：CN201710753611.7

申请日：2017-08-29

申请人： 中国信息安全测评中心 ,  成都科来软件有限公司

发明人： 孟祥杰 ,  田斌 ,  张利 ,  易锦 ,  刘照辉 ,  胡卫华 ,  梁杰 ,  姚原岗 ,  偰赓 ,  刘遥 ,  张鹏 ,  罗鹰 ,  侯勇军 ,  钟峰 ,  田红伟 ,  陈伟清 ,  刘智

IPC分类号： H04L29/08 ,  G06F16/245

摘要： 本发明公开了一种基于大数据的文件夹断点续传方法，其特征在于，包括以下步骤：步骤1：客服端选择待上传文件夹，并向NameNode服务器发送文件上传请求；步骤2：NameNode服务器解析并获取待上传文件夹的协议头信息，同时根据获取的协议头信息生成该待上传文件夹的数据信息等步骤。本发明将生成的待上传文件夹的数据信息存入NameNode服务器的内存数据库中，从而对NameNode服务器进行改造，使服务器支持文件夹的断点续传；当文件夹在上传的过程中其内部的文件出现上传失败时，下一次上传则可以从断点位置开始将剩余未上传的文件进行上传，而无需从头开始重新上传文件夹，因此其极大的提高了文件夹的上传效率。