一种基于glusterfs集群文件系统的纠删组内扩容的方法

    公开(公告)号:CN106372259A

    公开(公告)日:2017-02-01

    申请号:CN201610896470.X

    申请日:2016-10-13

    发明人: 王晓强 贾德明

    IPC分类号: G06F17/30 G06F3/06

    摘要: 本发明公开了一种基于glusterfs集群文件系统的纠删组内扩容的方法,包括:修改glusterfs管理代码,在glusterfs管理系统增加volume内部纠删组关系索引,允许volume内存在不同类型的纠删组;允许存储介质被多个进程管理,当存储介质格式化挂载后,在挂载点内创建多个子目录,并将所述子目录组成纠删组。突破gluster自身的架构限制,允许同一volume中存在不同类型的纠删组。实现glusterfsd进程与存储介质多对一,突破原glsuterfs进程和存储介质一对一的关系,使架构更灵活。充分利用glusterfs自带的功能实现纠删组扩容,对原代码改动较小,更容易实现。

    一种分布式日志的采集和检索方法

    公开(公告)号:CN105260399A

    公开(公告)日:2016-01-20

    申请号:CN201510593536.3

    申请日:2015-09-17

    发明人: 杨剑 张磊

    IPC分类号: G06F17/30

    CPC分类号: G06F16/134 G06F16/1815

    摘要: 本发明公开了一种分布式日志的采集和检索方法,包括以下步骤:日志采集网络采集日志信息,通过通用接口将不同来源的日志信息存储在存储系统中,通过通用接口将不同类型及不同来源的日志信息保存成为统一字符编码的日志文件;日志搜索系统对保存到存储系统中的日志文件进行切分,对切分后的日志信息进行索引操作,根据日志内的关键属性,日志搜索系统从非结构化日志数据中提取数据,并重新组织成为日志信息索引;将形成的日志信息索引进行日志检索。本发明使日志成为一个系统的结构,能够使不同类型的日志信息形成一个能够采集不同协议的日志采集网络,从而实现云计算数据中心分布式、高性能、实时、可扩展日志搜索系统的目的。

    一种基于IP网络的数据存储方法

    公开(公告)号:CN105162891A

    公开(公告)日:2015-12-16

    申请号:CN201510662936.5

    申请日:2015-10-14

    发明人: 惠孛

    IPC分类号: H04L29/08 G06F17/30

    摘要: 本发明提供了一种基于IP网络的数据存储方法,该方法包括:云平台存储系统中的主节点接收每一个数据服务器周期性发送的心跳消息,用于管理云平台的拓扑信息;当客户端首次云平台时,客户端访问主节点获取云平台拓扑信息并缓存在本地,客户端获取文件名并进行散列计算,并确定对应的小文件所在的数据服务器;在确定数据服务器后,对比数据服务器保存的云平台拓扑信息和客户端保存的云平台拓扑信息的版本号,如果版本号一致则对小文件进行读取或写入操作。本发明减少了连续读写小文件的网络连接次数,存储更轻量级,延迟更低,并降低了主节点负载,使其失效后服务恢复更快,整个存储系统可用性提高。

    一种数据多副本关联的方法及系统

    公开(公告)号:CN105159919A

    公开(公告)日:2015-12-16

    申请号:CN201510440051.0

    申请日:2015-07-24

    IPC分类号: G06F17/30 G06F21/62

    摘要: 本发明提供一种数据多副本关联的方法及系统,方法包括:将包含待分享数据和逻辑索引的数据关联对象上传至第一服务器端存储;第一服务器端添加数据关联对象的逻辑索引和其对应于第一服务器端的物理索引至副本目录;当第二服务器端获取数据关联对象,则第一服务器端添加第二服务器端的编号、所述数据关联对象对应于第二服务器端的物理索引至副本目录;选定数据关联对象;依据数据关联对象的逻辑索引检索副本目录;获取副本目录中记录的存储有数据关联对象的所有服务器端的编号,以及对应的物理索引。本发明实现基于副本目录实现数据关联对象的副本关联、跟踪定位和关联删除,保障发布者的数据操控权利,提升网络空间的数据安全。

    海量元数据分片分布的方法及装置

    公开(公告)号:CN107066503A

    公开(公告)日:2017-08-18

    申请号:CN201710005810.X

    申请日:2017-01-05

    发明人: 李雪生

    IPC分类号: G06F17/30 G06F3/06

    摘要: 本发明属于文件系统海量元数据分布技术领域,公开了一种海量元数据分片分布的方法,包括将单目录的元数据数据块划分为多个元数据分片;元数据数据块依据预定规则分布在不同的元数据分片上;将不同的元数据分片分别存储在多个存储设备上。本发明还公开了一种海量元数据分片分布的装置,包括单目录元数据数据块划分模块、第一元数据数据块分布模块和元数据分片存储模块。本发明解决了单目录海量数目的文件,文件系统元数据管理效率低的问题,本发明将单目录的元数据数据块划分为多个元数据分片,元数据分片大小的减小,能够实现元数据缓存的加载、同步。

    一种隐私字符信息加密查询方法及系统

    公开(公告)号:CN106850187A

    公开(公告)日:2017-06-13

    申请号:CN201710024865.5

    申请日:2017-01-13

    摘要: 本发明公开了一种隐私字符信息加密查询方法与系统。所述方法包括以下步骤:(1)数据加密:将可信客户端提交的明文元组转换为密文元组;所述明文元组含有隐私字段;所述密文元组包括密文数据和索引数据;(2)查询转换:将原始查询条件转换索引查询条件,将其索引数据满足索引查询条件的密文元组组成的元组集作为相关密文元组集;(3)数据解密:将相关密文元组集解密,获得明文形式的临时结果;(4)数据筛选:执行原始查询条件得到目标明文元组集。所述系统,包括数据加密部件、查询转换部件、数据解密部件、以及数据筛选部件。本发明相对于现有的方法,更加灵活、安全性更高。

    一种云计算架构下的混合云存储方法

    公开(公告)号:CN106484821A

    公开(公告)日:2017-03-08

    申请号:CN201610853221.2

    申请日:2016-09-27

    IPC分类号: G06F17/30

    CPC分类号: G06F16/182 G06F16/134

    摘要: 本发明提供一种云计算架构下的混合云存储方法,属于复合云存储领域,本发明将大文件及超大文件将仍然存储到HDFS上,针对海量数据中小文件读写效率低的情况,提出一种基于HBase的海量小文件高效存储方法,利用HBase的存储优势,将小文件直接存储于HBase,从而有效减少元数据节点服务器(NameNode)的负载,并对上层应用系统提供透明的访问接口。该方法可以实现海量小文件的高效存储,提高HDFS环境下小文件的读写效率。

    一种基于二维码的动态交互图书索引系统及其应用

    公开(公告)号:CN105975490A

    公开(公告)日:2016-09-28

    申请号:CN201610265391.9

    申请日:2016-04-25

    申请人: 山东大学

    IPC分类号: G06F17/30

    CPC分类号: G06F16/134 G06F16/182

    摘要: 本发明涉及一种基于二维码的动态交互图书索引系统及其应用。所述基于二维码的动态交互图书索引系统,包括智能图书、依次连接的手机APP、服务器和大数据分析模块;服务器内设置有数据库。本发明针对现有纸质图书和电子图书的缺点和不足,使用信息技术将纸质图书和电子图书的优点结合起来,利用纸质图书清晰的知识体系架构和电子图书的方便快捷,融合多媒体技术,实现读者线上学习和线下学习的结合,读者通过手机APP实现读者在线交流、图书作者答疑,同时给读者的阅读过程提供多方面、全方位的扩展服务,提高学习效率。