一种基于分层映射的分布式数据库结果缓存方法

    公开(公告)号:CN106570145A

    公开(公告)日:2017-04-19

    申请号:CN201610966316.5

    申请日:2016-10-28

    IPC分类号: G06F17/30

    CPC分类号: G06F16/24552 G06F16/27

    摘要: 本发明提供一种基于分层映射的分布式数据库结果缓存方法,属于分布式数据库性能优化研究与应用领域,具体涉及一种分布式数据库的查询操结果集数据的缓存管理、分组和排序以及提取。本发明基于分布式架构建立分布式映射缓存框架。底层本地缓存实现结果集数据的本地存储、分组。这一缓存信息汇聚在上层虚拟缓存中。通过虚拟缓存与本地缓存的映射实现数据的提取。同时,实现结果集分组与排序等处理。通过本发明所提出的缓存技术可以在满足分布式数据库结果集正确提取的同时,降低系统内部网络与内存负载,提高分布式数据系统的可靠性与数据吞吐性能。这一技术在基于大数据的电子商务、物联网、智慧城市等领域具有积极的应用价值。

    一种基于分层映射的分布式数据库结果缓存方法

    公开(公告)号:CN106570145B

    公开(公告)日:2020-07-10

    申请号:CN201610966316.5

    申请日:2016-10-28

    IPC分类号: G06F16/27 G06F16/2455

    摘要: 本发明提供一种基于分层映射的分布式数据库结果缓存方法,属于分布式数据库性能优化研究与应用领域,具体涉及一种分布式数据库的查询操结果集数据的缓存管理、分组和排序以及提取。本发明基于分布式架构建立分布式映射缓存框架。底层本地缓存实现结果集数据的本地存储、分组。这一缓存信息汇聚在上层虚拟缓存中。通过虚拟缓存与本地缓存的映射实现数据的提取。同时,实现结果集分组与排序等处理。通过本发明所提出的缓存技术可以在满足分布式数据库结果集正确提取的同时,降低系统内部网络与内存负载,提高分布式数据系统的可靠性与数据吞吐性能。这一技术在基于大数据的电子商务、物联网、智慧城市等领域具有积极的应用价值。

    一种面向云平台的混合结构数据高性能存储、查询方法

    公开(公告)号:CN105912666A

    公开(公告)日:2016-08-31

    申请号:CN201610224238.1

    申请日:2016-04-12

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种面向云平台的混合结构数据高性能存储、查询方法。本方法为:1)将云平台的数据集根据时间分段划分为一系列的存储页;然后分别将每一存储页存储到云平台中的一存储节点;2)云平台对当前收到的增量数据封装后发送给对应的存储节点,该存储节点根据该增量数据的时间戳确定是否需要建立新的存储页,如果需要,则根据当前时间戳创建新的存储页并建立页索引和属性索引存储结构;否则根据采样时间确定所属的时间分段位置,从该存储节点的数据集中获取对应的存储页;3)该存储节点将该封装数据存储到该存储页中并更新页索引;并且根据该数据属性集从该增量数据中提取对应属性值,然后根据属性值的规约区间更新属性索引存储结构。

    一种面向云平台的混合结构数据高性能存储、查询方法

    公开(公告)号:CN105912666B

    公开(公告)日:2019-06-25

    申请号:CN201610224238.1

    申请日:2016-04-12

    摘要: 本发明公开了一种面向云平台的混合结构数据高性能存储、查询方法。本方法为:1)将云平台的数据集根据时间分段划分为一系列的存储页;然后分别将每一存储页存储到云平台中的一存储节点;2)云平台对当前收到的增量数据封装后发送给对应的存储节点,该存储节点根据该增量数据的时间戳确定是否需要建立新的存储页,如果需要,则根据当前时间戳创建新的存储页并建立页索引和属性索引存储结构;否则根据采样时间确定所属的时间分段位置,从该存储节点的数据集中获取对应的存储页;3)该存储节点将该封装数据存储到该存储页中并更新页索引;并且根据该数据属性集从该增量数据中提取对应属性值,然后根据属性值的规约区间更新属性索引存储结构。

    一种面向云数据库的非结构化数据的存储与管理方法

    公开(公告)号:CN106503084A

    公开(公告)日:2017-03-15

    申请号:CN201610884272.1

    申请日:2016-10-10

    IPC分类号: G06F17/30

    CPC分类号: G06F16/80

    摘要: 本发明属于非结构化云存储管理研究与应用领域,具体涉及一种面向云数据库的非结构化数据存储与管理方法。针对云环境中,以json数据为代表的非结构话数据底层存储特点,本发明基于虚拟分块的方式实现非定长数据记录的分割与基本存储,通过虚拟分块的链表关系实现数据记录的排序与提取。同时,为存储分块建立索引,实现存储空间的碎片回收与数据记录的倒排索引。通过本发明的数据存储管理技术,可以有效满足海量、非结构化数据应用场景下,数据库底层数据高性能读写的要求。同时,可以提高存储空间利用效率。本发明在互联网数据库、云化服务集成环境、物联网等方面具有积极的应用价值。

    一种云环境中数据交换与共享方法及系统

    公开(公告)号:CN106776780B

    公开(公告)日:2020-05-01

    申请号:CN201611042431.X

    申请日:2016-11-23

    IPC分类号: G06F16/25

    摘要: 本发明提出了一种云环境中数据交换与共享方法及系统,涉及数据共享与处理技术领域。本发明基于数据交换模型实现交换数据在异构数据库和应用系统中的数据交换与共享,该数据交换模型基于可配置的方式,预定义不同数据源中的数据结构转换、数据项表达映射操作。在数据交换过程中,基于这一预定义内容进行数据的自动处理。同时,并结合数据仓库,为用户提供统计、分析等服务。通过本发明所提出的异构数据采集与交换技术可以为用户屏蔽底层不同的数据源,从而使使用不同数据库的应用系统之间能共享、交换数据和信息。这一发明在大型分布式信息系统数据集成领域具有积极的应用价值。

    一种云环境中数据交换与共享方法及系统

    公开(公告)号:CN106776780A

    公开(公告)日:2017-05-31

    申请号:CN201611042431.X

    申请日:2016-11-23

    IPC分类号: G06F17/30

    摘要: 本发明提出了一种云环境中数据交换与共享方法及系统,涉及数据共享与处理技术领域。本发明基于数据交换模型实现交换数据在异构数据库和应用系统中的数据交换与共享,该数据交换模型基于可配置的方式,预定义不同数据源中的数据结构转换、数据项表达映射操作。在数据交换过程中,基于这一预定义内容进行数据的自动处理。同时,并结合数据仓库,为用户提供统计、分析等服务。通过本发明所提出的异构数据采集与交换技术可以为用户屏蔽底层不同的数据源,从而使使用不同数据库的应用系统之间能共享、交换数据和信息。这一发明在大型分布式信息系统数据集成领域具有积极的应用价值。

    一种面向云存储的分层索引方法与检索方法

    公开(公告)号:CN106599040A

    公开(公告)日:2017-04-26

    申请号:CN201610975816.5

    申请日:2016-11-07

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种面向云存储的分层索引方法与检索方法。针对云存储环境中海量数据分布组织管理的特点,本发明建立一种分层索引结构:顶层为全局索引,该索引以数据的不同属性形成维度,为每个维度以散列倒排的方式建立取值与分页之间的映射关系;在底层的局部索引中建立与上层维度取值对应的索引,实现与本地存储分页中数据的映射。该索引结构的平衡性与扩展性较好,具有查询执行效率受数据集规模影响较小的特点,且支持多维与布尔查询;同时,在云环境节点发生变换时,仅在全局索引进行节点迁移的维护工作,索引维护较为简单,能够满足云存储环境的要求。本发明在分布式数据库领域具有积极的应用价值。