-
公开(公告)号:CN103198159B
公开(公告)日:2016-01-06
申请号:CN201310153332.9
申请日:2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法,其特点是:包括查询执行阶段:集群事务管理模块跟踪活动事务表,录制事务操作;集群为主数据节点生成事务重做日志;集群将事务重做日志文件发送给所有副本数据节点并管理节点状态;副本维护阶段:副本数据节点接收来自于主数据节点的事务重做日志文件;故障恢复阶段:数据库管理员将查找出故障节点对应的存档日志,将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题,弥补了二进制日志传输方式无法支持异构数据库的不足,实现了多副本之间的快速一致性维护,保证无共享集群的高可用性,同时能够支持集群数据库节点的异构化。
-
公开(公告)号:CN103198159A
公开(公告)日:2013-07-10
申请号:CN201310153332.9
申请日:2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法,其特点是:包括查询执行阶段:集群事务管理模块跟踪活动事务表,录制事务操作;集群为主数据节点生成事务重做日志;集群将事务重做日志文件发送给所有副本数据节点并管理节点状态;副本维护阶段:副本数据节点接收来自于主数据节点的事务重做日志文件;故障恢复阶段:数据库管理员将查找出故障节点对应的存档日志,将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题,弥补了二进制日志传输方式无法支持异构数据库的不足,实现了多副本之间的快速一致性维护,保证无共享集群的高可用性,同时能够支持集群数据库节点的异构化。
-
公开(公告)号:CN115174452B
公开(公告)日:2024-05-31
申请号:CN202210765191.5
申请日:2022-07-01
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于Oracle数据库协议代理的应用移植方法,其技术特点是:使用TNS协议代理程序对原Oracle网络进行拦截及监听;建立应用与TNS协议代理程序之间的连接、TNS协议代理程序与神通数据库之间的连接以及两个连接的映射关系;应用客户端通过TNS协议代理程序进行认证授权;认证授权后,TNS协议代理程序解析应用客户端发送的数据包并转发给神通数据库处理,神通数据库处理后通过TNS协议代理程序将处理结果发送给Oracle驱动。本发明采用将通信协议翻译转换为与神通数据库之间的协议模式,有效地解决了缺少应用系统源码难以进行移植的问题,并且任何语言开发的应用系统都可以访问神通数据库,提高了开发效率、降低了开发难度、扩大了应用范围。
-
公开(公告)号:CN115630065A
公开(公告)日:2023-01-20
申请号:CN202211272183.3
申请日:2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法,包括:步骤S1、接收一系列按照预定格式流传输的块数据;步骤S2、基于预定格式进行解析,获取所述块数据中的数据组成;步骤S3、分析数据组成的不同部分,对应的采用不同压缩模式对数据块进行压缩;步骤S4、基于所采用的压缩模式,在第一查找表中匹配对应的分区号段,在压缩数据中单独设置的索引分区类型字段,将所述匹配到的索引分区号段作为附加数据;步骤S5、基于所述的分区号标志,存储到对应的子分区表中,并记录对应数据的索引和压缩模式字段;步骤S6、在数据存储过程中,对不同的子分区表,分配不同大小的连续空间进行存储;步骤S7、用户基于数据压缩模式或数据格式类型,在对应的索引存储表中进行检索。
-
公开(公告)号:CN115361434A
公开(公告)日:2022-11-18
申请号:CN202210930712.8
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/145 , H04L67/1004
Abstract: 本发明涉及一种分布式系统高负载情况下的多路径心跳检测方法,其技术特点是:包括同步运行的独立心跳检测方法、业务功能心跳检测方法和对端主动应答心跳检测方法,如果任何一种心跳检测方法结果是正常的,则本轮心跳检测结果是正常的。本发明设计合理,其融合了高频检测、长超时时间、多路径检测的心跳检测方法,通过独立的心跳检测、业务功能、对端主动应答以及动态识别超时事件等方法,可以在较短的时间内识别出心跳故障状态,又可以在系统高压力下应对系统误判心跳故障问题,极大提升了数据库的稳定性和可用性。
-
公开(公告)号:CN115309550A
公开(公告)日:2022-11-08
申请号:CN202210930830.9
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种MPP并行数据库实例级副本均衡方法,其技术特点是:存储IO的均衡策略为每个WAL日志配置单独存储硬盘,为业务数据配置一个共享的大容量存储硬盘;物理内存的均衡策略采用动态的数据页面缓冲区分配方式;计算资源的均衡策略采用自适应工作方式;回切原主实例策略包括平滑模式rebalance和速度模式rebalance以满足不同的场景需求。本发明充分考虑MPP并行数据库中并行计算、批量装载数据以及一次写入多次查询的特点,分别从存储IO、物理内存、计算资源和回切原主实例这四个方面进行实例级副本的均衡,最终实现了在不妥协从实例的冗余能力的基础上最大化主实例的计算服务能力。
-
公开(公告)号:CN115630065B
公开(公告)日:2023-08-22
申请号:CN202211272183.3
申请日:2022-10-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2453 , G06F3/06
Abstract: 本发明提出一种基于多压缩模式子分区表的存储和查询方法,包括:步骤S1、接收一系列按照预定格式流传输的块数据;步骤S2、基于预定格式进行解析,获取所述块数据中的数据组成;步骤S3、分析数据组成的不同部分,对应的采用不同压缩模式对数据块进行压缩;步骤S4、基于所采用的压缩模式,在第一查找表中匹配对应的分区号段,在压缩数据中单独设置的索引分区类型字段,将所述匹配到的索引分区号段作为附加数据;步骤S5、基于所述的分区号标志,存储到对应的子分区表中,并记录对应数据的索引和压缩模式字段;步骤S6、在数据存储过程中,对不同的子分区表,分配不同大小的连续空间进行存储;步骤S7、用户基于数据压缩模式或数据格式类型,在对应的索引存储表中进行检索。
-
公开(公告)号:CN115174452A
公开(公告)日:2022-10-11
申请号:CN202210765191.5
申请日:2022-07-01
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于Oracle数据库协议代理的应用移植方法,其技术特点是:使用TNS协议代理程序对原Oracle网络进行拦截及监听;建立应用与TNS协议代理程序之间的连接、TNS协议代理程序与神通数据库之间的连接以及两个连接的映射关系;应用客户端通过TNS协议代理程序进行认证授权;认证授权后,TNS协议代理程序解析应用客户端发送的数据包并转发给神通数据库处理,神通数据库处理后通过TNS协议代理程序将处理结果发送给Oracle驱动。本发明采用将通信协议翻译转换为与神通数据库之间的协议模式,有效地解决了缺少应用系统源码难以进行移植的问题,并且任何语言开发的应用系统都可以访问神通数据库,提高了开发效率、降低了开发难度、扩大了应用范围。
-
公开(公告)号:CN119474170A
公开(公告)日:2025-02-18
申请号:CN202411551913.2
申请日:2024-11-01
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F16/22 , G06F17/18
Abstract: 本发明涉及数据库管理和优化技术领域,具体涉及一种数据库统计信息高频值修正方法,采用无放回取样依次对初步的MCV列表内值进行概率估算;对所有MCV值的概率进行修正处理;对比修正处理后的该值的置信区间的下界行数与其在所述样本数据中出现的行数;若样本数据中的行数大于置信区间的下限则认为该值为MCV,保留;否则,将该值从初步的MCV列表中移除;保留的MCV值组成偏差更小、修正后的MCV值列表。采用了超几何分布的方差和标准差来修正MCV的概率,经过修正处理后,可得到偏差更小的MCV值列表,较现有技术很大地提高了MCV信息准确度。
-
公开(公告)号:CN115309837A
公开(公告)日:2022-11-08
申请号:CN202210930836.6
申请日:2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/28 , G06F16/2457 , G06Q30/02
Abstract: 本发明涉及一种基于列式存储的流水排序方法,其技术特点是:包括异步IO线程、流水化线程和排序线程,其根据所有CU的元信息构建CU序列,并根据CU序列的最小值信息构造边界序列,在排序过程中,将CU视为一个数据集合,对于相邻的两个CU,使用后一个CU的最小值做边界将数据划分为两部分,前一部分可以作为子集合单独排序,后一部分和第二个CU组成一个新的集合,再和后面的CU继续进行相同的处理,实现流水排序。本发明设计合理,实现了对采用列式存储并且近似有序的数据集合进行快速排序功能,具有处理速度快、占用资源小等特点。
-
-
-
-
-
-
-
-
-