加速空间大数据文件读写速度的方法

    公开(公告)号:CN103412950A

    公开(公告)日:2013-11-27

    申请号:CN201310382898.9

    申请日:2013-08-28

    申请人: 浙江大学

    IPC分类号: G06F17/30

    摘要: 本发明涉及计算机数据传输领域,公开了一种加速空间大数据文件读写速度的方法,包括零复制步骤,文件缓冲步骤以及摘要校验步骤,对空间大数据文件进行读写访问时,通过摘要校验步骤得到空间大数据文件的信息摘要,并与缓存系统内的文件的信息摘要进行比对;如果空间大数据文件在缓存系统内存在同样的副本,则更新副本的缓存命中信息,更新副本的权重W,根据更新后的副本的权重W调整副本在顺序链表的链接位置,通过零复制步骤对副本进行传输;如果空间大数据文件在缓存系统内不存在同样的副本,则在缓存系统内建立空间大数据文件的副本,更新副本的权重W,通过零复制步骤对副本进行传输。本发明的优点在于,克服数据读写瓶颈,利于整体提升数据读写速度。

    加速空间大数据文件读写速度的方法

    公开(公告)号:CN103412950B

    公开(公告)日:2016-06-22

    申请号:CN201310382898.9

    申请日:2013-08-28

    申请人: 浙江大学

    IPC分类号: G06F17/30

    摘要: 本发明涉及计算机数据传输领域,公开了一种加速空间大数据文件读写速度的方法,包括零复制步骤,文件缓冲步骤以及摘要校验步骤,对空间大数据文件进行读写访问时,通过摘要校验步骤得到空间大数据文件的信息摘要,并与缓存系统内的文件的信息摘要进行比对;如果空间大数据文件在缓存系统内存在同样的副本,则更新副本的缓存命中信息,更新副本的权重W,根据更新后的副本的权重W调整副本在顺序链表的链接位置,通过零复制步骤对副本进行传输;如果空间大数据文件在缓存系统内不存在同样的副本,则在缓存系统内建立空间大数据文件的副本,更新副本的权重W,通过零复制步骤对副本进行传输。本发明的优点在于,克服数据读写瓶颈,利于整体提升数据读写速度。

    一种基于图论的大数据存储及查询方法

    公开(公告)号:CN103823846A

    公开(公告)日:2014-05-28

    申请号:CN201410042350.4

    申请日:2014-01-28

    申请人: 浙江大学

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30312 G06F17/30424

    摘要: 本发明公开了一种基于图论的大数据存储及查询方法,包括如下步骤:步骤1.用户发起数据存储请求,主服务器将接收到的数据进行数据抽象,得到点数据、边数据以及属性数据,并为每个数据申请索引值;步骤2.主服务器根据数据类型向对应的从服务器存储数据;步骤3.用户发起查询请求,主服务器分析查询请求所采用的图形查询语言并将查询请求提交给关系服务器;步骤4.关系服务器对所述查询请求基于索引值进行查询遍历,并将查询结果返回至主服务器;步骤5.主服务器处理返回的查询结果,并向用户发送处理结果。本发明方法提供了一个能够进行水平扩展的数据库,为数据计算和数据分析提供了极大的便利。