-
公开(公告)号：CN105335479A
公开(公告)日：2016-02-17
申请号：CN201510657159.5
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30404 , G06F17/30445 , G06F17/30592 , G06F17/30637
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法，其技术特点是：对输入SQL语法进行解析；在结构化数据仓库中建立和子查询投影结构一致的临时表；识别全文索引引擎数据分布规则；将基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中；完成查询结果导入过程，向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点，实现对海量文本数据的基于通用SQL语言的统计分析方法，解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题，大大提高了文本数据统计分析的易用性。
-
公开(公告)号：CN105426427A
公开(公告)日：2016-03-23
申请号：CN201510740873.0
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/273 , G06F3/0689 , G06F11/1469 , G06F16/211 , G06F16/2365
Abstract: 本发明涉及一种基于RAID 0存储的MPP数据库集群副本实现方法，其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：进行数据库存储部署；计算副本存储位置；创建副本存储实体；进行副本元信息维护；进行副本数据访问；使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理，其为MPP数据库集群引入系统层面的数据冗余，通过牺牲一定的存储空间来换取数据安全，提高了系统可用性；当出现硬件故障或副本数据被破坏(失效)时，系统自动将对该数据分片的访问导向另一个可用副本，实现对外不间断服务,并且解决单一数据并发访问“过热”问题，提高系统的吞吐性能。
-
公开(公告)号：CN105302638A
公开(公告)日：2016-02-03
申请号：CN201510740736.7
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。
-
公开(公告)号：CN105335479B
公开(公告)日：2018-11-23
申请号：CN201510657159.5
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法，其技术特点是：对输入SQL语法进行解析；在结构化数据仓库中建立和子查询投影结构一致的临时表；识别全文索引引擎数据分布规则；将基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中；完成查询结果导入过程，向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点，实现对海量文本数据的基于通用SQL语言的统计分析方法，解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题，大大提高了文本数据统计分析的易用性。
-
公开(公告)号：CN105302667B
公开(公告)日：2018-05-04
申请号：CN201510657187.7
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法，其技术特点是：包括在线数据备份与恢复方法和历史数据备份与恢复方法，所述在线数据备份与恢复方法包括：创建表空间并按时间划分范围分区表；在向数据库导入数据的过程中实现一个备份功能；将备份信息写入系统表；当天数据变成历史数据时将其按历史数据备份方式完成备份；当发生磁盘故障时，重新装载数据，实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法，使得在发生介质故障时，提高了单数据库节点的高可用性、高可靠性，有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
Patent Agency Ranking
公开(公告)号：CN105302667A
公开(公告)日：2016-02-03
申请号：CN201510657187.7
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于集群架构的高可靠性数据备份与恢复方法，其技术特点是：包括在线数据备份与恢复方法和历史数据备份与恢复方法，所述在线数据备份与恢复方法包括：创建表空间并按时间划分范围分区表；在向数据库导入数据的过程中实现一个备份功能；将备份信息写入系统表；当天数据变成历史数据时将其按历史数据备份方式完成备份；当发生磁盘故障时，重新装载数据，实现在线数据的恢复。本发明对两类数据采用了不同的备份恢复方法，使得在发生介质故障时，提高了单数据库节点的高可用性、高可靠性，有效地解决了一般集群双机热备方案中无法有效恢复节点数据、互备节点同时发生介质故障时的数据丢失等问题。
-
公开(公告)号：CN102737132A
公开(公告)日：2012-10-17
申请号：CN201210209362.2
申请日：2012-06-25
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于数据库行列混合存储的多规则复合压缩方法。结合当前软硬件发展趋势以及数据库业界所面临的严重性能瓶颈，提出了将数据库内数据按元组行组织、按属性列压缩的混合存储压缩模式，既具备了列存储高压缩率的特性同时兼具行存储便于随机定位访问的优点。同时针对不同的数据分布特点提出了多种属性列内的规则编码方法，尤其针对数据库单表内各属性列间可能存在的关系提出了列间压缩规则，结合后端的通用压缩算法，能够高效的为上层数据库应用提供多级别的复合压缩功能，并保证在指定压缩率条件下最大化编解码速度。
-
公开(公告)号：CN102968496B
公开(公告)日：2016-04-27
申请号：CN201210510033.1
申请日：2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于任务驱动和双缓冲机制的并行排序方法，其主要技术特点是：包括步骤1：分块内存排序步骤：将外存文件划分成一定大小的微小桶并读入内存，每读入一个微小桶就对其进行快速排序，当没有更多内存可用或者没有更多数据时，对所有微小桶进行内存归并，然后写出到外存中，形成一个有序的桶；步骤2：外存归并步骤：对外存中的桶进行归并，并将归并结果输出到最终有序的文件中，生成有序的排序结果。本发明通过任务驱动多线程工作并利用双缓冲技术提高内部排序的性能，简化了并发控制的机制，加快了处理速度，增加了大数据量排序算法的可扩展性。
-
公开(公告)号：CN106342312B
公开(公告)日：2013-11-27
申请号：CN201010048676.X
申请日：2010-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 一种对数据库系统进行数据物理隔离的方法，首先在数据库系统上创建隔离区，隔离区包括隔离区数据文件以及隔离区数据字典；然后由数据库系统自动分配或由用户指定当前唯一的用于区分同名数据的命名空间；随后对当前数据操作请求进行判断，根据当前数据操作请求进行数据处理；处理完毕后将隔离区设为不再接受任何新事务的状态，同时回滚隔离区内所有未提交事务，将隔离区内所有已提交事务的数据更新写入到隔离区数据文件中；最后以无效数据擦写方式删除内存缓冲区中隔离区的全部数据和隔离区的数据字典，同时回收隔离区的命名空间。本发明方法安全性高、占用系统资源量少，提高了系统整体的可用性。
-
公开(公告)号：CN102968496A
公开(公告)日：2013-03-13
申请号：CN201210510033.1
申请日：2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于任务驱动和双缓冲机制的并行排序方法，其主要技术特点是：包括步骤1：分块内存排序步骤：将外存文件划分成一定大小的微小桶并读入内存，每读入一个微小桶就对其进行快速排序，当没有更多内存可用或者没有更多数据时，对所有微小桶进行内存归并，然后写出到外存中，形成一个有序的桶；步骤2：外存归并步骤：对外存中的桶进行归并，并将归并结果输出到最终有序的文件中，生成有序的排序结果。本发明通过任务驱动多线程工作并利用双缓冲技术提高内部排序的性能，简化了并发控制的机制，加快了处理速度，增加了大数据量排序算法的可扩展性。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.081 seconds)
