-
公开(公告)号:CN106372163B
公开(公告)日:2020-12-04
申请号:CN201610777842.7
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种适用于分布式数据库的数据分发方法及装置,其中,所述方法包括:存在数据分发任务时,对所述数据按照最小存储单位进行拆分;计算拆分的最小存储单位数据的分布目标,并根据所述分布目标向节点分发数据。通过对所述数据按照最小存储单位进行拆分;计算拆分的数据的分布目标,向所述分布目标分发数据。由于将物化继续推迟,保持整个数据计算过程尽可能的不物化或少物化数据,降低磁盘I/O。直到最后按照分布规则拆分时才将数据进行物化。减少了预算工作量和系统负担。
-
公开(公告)号:CN104572893B
公开(公告)日:2018-02-27
申请号:CN201410818000.2
申请日:2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种数据库中的数据混合存储方法,将采用列存储的原数据库表中的列数据分为列存储数据和行存储数据并存储在同一数据库表中;所述行存储数据的存储结构在内部融合列存储数据的数据存储特征;所述数据库表中的列存储数据是根据运行系统查询特征选择的数据列,用于进行列扫描多关联的条件列等数据查询定位操作。本发明具有的优点和积极效果是:为在复杂应用场景下的列存数据库提供了一种有效解决select*应用模型物化效率低下的方法,提高了列存数据库对于select*类型的查询效率,扩展了列存数据库的适用范围;减小了现有行列混合存储方式占用的空间,同时数据的压缩效率与列存储相差不多。
-
公开(公告)号:CN106372163A
公开(公告)日:2017-02-01
申请号:CN201610777842.7
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种适用于分布式数据库的数据分发方法及装置,其中,所述方法包括:存在数据分发任务时,对所述数据按照最小存储单位进行拆分;计算拆分的最小存储单位数据的分布目标,并根据所述分布目标向节点分发数据。通过对所述数据按照最小存储单位进行拆分;计算拆分的数据的分布目标,向所述分布目标分发数据。由于将物化继续推迟,保持整个数据计算过程尽可能的不物化或少物化数据,降低磁盘I/O。直到最后按照分布规则拆分时才将数据进行物化。减少了预算工作量和系统负担。
-
公开(公告)号:CN104572893A
公开(公告)日:2015-04-29
申请号:CN201410818000.2
申请日:2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30339
Abstract: 本发明提供一种数据库中的数据混合存储方法,将采用列存储的原数据库表中的列数据分为列存储数据和行存储数据并存储在同一数据库表中;所述行存储数据的存储结构在内部融合列存储数据的数据存储特征;所述数据库表中的列存储数据是根据运行系统查询特征选择的数据列,用于进行列扫描多关联的条件列等数据查询定位操作。本发明具有的优点和积极效果是:为在复杂应用场景下的列存数据库提供了一种有效解决select*应用模型物化效率低下的方法,提高了列存数据库对于select*类型的查询效率,扩展了列存数据库的适用范围;减小了现有行列混合存储方式占用的空间,同时数据的压缩效率与列存储相差不多。
-
公开(公告)号:CN108460074A
公开(公告)日:2018-08-28
申请号:CN201711470231.9
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种基于BloomFilter原理的多列索引在列存数据库中的实现方法,包括:基于BloomFilter原理的多列索引在列存数据库中的创建方法,及在列存数据库查询中的使用方法。本发明实现的多列索引具有以下优点:不存储实际值,空间占用小;索引查询速度快,耗时固定;一个索引即可支持任意列的组合查询;BloomFilter中的假阳率(False positives)可控。本发明的有益效果是能最大程度地排除不命中的记录,减少扫描所需的磁盘访问,从而提升数据库的性能。
-
-
-
-
-