-
公开(公告)号:CN103198159A
公开(公告)日:2013-07-10
申请号:CN201310153332.9
申请日:2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法,其特点是:包括查询执行阶段:集群事务管理模块跟踪活动事务表,录制事务操作;集群为主数据节点生成事务重做日志;集群将事务重做日志文件发送给所有副本数据节点并管理节点状态;副本维护阶段:副本数据节点接收来自于主数据节点的事务重做日志文件;故障恢复阶段:数据库管理员将查找出故障节点对应的存档日志,将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题,弥补了二进制日志传输方式无法支持异构数据库的不足,实现了多副本之间的快速一致性维护,保证无共享集群的高可用性,同时能够支持集群数据库节点的异构化。
-
公开(公告)号:CN103198159B
公开(公告)日:2016-01-06
申请号:CN201310153332.9
申请日:2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法,其特点是:包括查询执行阶段:集群事务管理模块跟踪活动事务表,录制事务操作;集群为主数据节点生成事务重做日志;集群将事务重做日志文件发送给所有副本数据节点并管理节点状态;副本维护阶段:副本数据节点接收来自于主数据节点的事务重做日志文件;故障恢复阶段:数据库管理员将查找出故障节点对应的存档日志,将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题,弥补了二进制日志传输方式无法支持异构数据库的不足,实现了多副本之间的快速一致性维护,保证无共享集群的高可用性,同时能够支持集群数据库节点的异构化。
-
公开(公告)号:CN110533112B
公开(公告)日:2023-04-07
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F18/23213 , G06F18/2411 , G06F18/25
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
公开(公告)号:CN110209701A
公开(公告)日:2019-09-06
申请号:CN201910495179.5
申请日:2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/23
Abstract: 本发明涉及一种基于内存多级缓存的数据快速分页查询访问的方法,包括以下步骤:在数据库启动时,创建一张哈希表作为全局缓存结构;在事务开始时,创建一张哈希表作为该事务的局部缓存结构;在事务进行的过程中,完成表更新操作;当一个事务发起表的总行数查询时,以OID为键在全局缓存结构中查找表的总行数,以OID为键在事务局部缓存结构中查找当前事务影响该表的变化行数,两个数值相加作为此次查询表的总行数;在事务提交时,数据库系统将更新过的当前事务局部缓存结构中各个表的变化行数累加到全局缓存结构中相应表的总行数上。本发明设计合理,大大减少并发冲突,同时最大限度减少了内存中表的总行数的维护对表的更新性能产生的影响。
-
公开(公告)号:CN110533112A
公开(公告)日:2019-12-03
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
公开(公告)号:CN110222035A
公开(公告)日:2019-09-10
申请号:CN201910495162.X
申请日:2019-06-10
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于异或校验与日志恢复的数据库页面高效容错方法,包括以下步骤:计算数据页面对应的校验码并保存在数据页面的头部中;从存储介质中读取数据页面到内存中时,通过校验码判断数据页面是否损坏;在启动数据库进行实例恢复的过程中,则将数据损坏页面跳过以使数据库正常启动,启动后提醒用户在哪个数据库对象中出现了数据页面损坏;启动数据库成功之后,确定哪个表出现了页面损坏问题,用户通过专门的SQL来对该表的损坏页面进行处理。本发明设计合理,其在数据页面内存储数据页面的异或运算校验码用于实时检测页面是否出现损坏,可成功恢复已损坏的数据,减少用户的数据损失。
-
公开(公告)号:CN110196859A
公开(公告)日:2019-09-03
申请号:CN201910495097.0
申请日:2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/23 , G06F16/242 , G06F16/27
Abstract: 本发明涉及一种基于JDBC分发器的数据库读写分离集群实时一致性方法,包括以下步骤:应用程序调用神通数据库JDBC驱动建立数据库连接时,由神通数据库JDBC驱动创建读写分离分发器;应用程序通过神通数据库JDBC在已建立的数据库连接上发送SQL语句,读写分离分发器对输入的SQL语句进行分析,生成执行策略:如果是主机执行策略,则读写分离分发器将SQL语句分发到主机执行并返回执行结果,如果是备机执行策略,则读写分离分发器将SQL语句分发到备机执行并返回执行结果。本发明设计合理,既可以通过备份服务分担主机的负载,又保证了数据查询的一致性,用户应用程序可以在不做任何修改的情况下直接利用读写分离系统提高并发性。
-
-
-
-
-
-