-
公开(公告)号:CN112612855B
公开(公告)日:2023-01-24
申请号:CN202011607632.6
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。
-
公开(公告)号:CN112613301A
公开(公告)日:2021-04-06
申请号:CN202011639318.6
申请日:2020-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F40/253 , G06F40/126
Abstract: 本发明提供了一种基于数据库执行select语句的动态可信判定方法,S1、管理员在可信数据库中设定可信的查询语句关键字模版,通过加密算法计算可信度量值并存储在可信计算基中;S2、数据库运行在可信环境中时,用户使用select语句进行查询,通过语法分析器和编译器进行验证,生成语法分析树,抽取查询语句中的关键字合并成字符串,然后对字符串进行加密运算得到可信度量值;S3、将S2中的可信度量值与可信计算基中的可信度量值进行对比,得到可信报告。本发明所述的基于数据库执行select语句的动态可信判定方法利用用动态可信进行实时监测,可以根据时间等动态信息进行区分不同时间用户对数据库操作的权限。
-
公开(公告)号:CN111078734B
公开(公告)日:2023-08-08
申请号:CN201911361506.4
申请日:2019-12-25
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2453
Abstract: 本发明提供一种通过创建内部临时表索引提高start with查询性能的方法,将查询中from的子句的多表关联操作变为内部临时表;对临时表进行扫描,取出符合条件的数据,并且使临时表可重复使用;创建栈表,将上一步中符合条件的数据放入栈表内;对该栈表进行扫描,出栈一条数据;对临时表进行扫描;将上两步的扫描结果进行汇合,得到符合下一个条件的数据;重复以上三步,至栈表为空;重复以上步骤至所有条件过滤完成,结果集中的数据即为最终结果。该发明的有益效果是:通过添加hint开关,使查询期间内部临时表可复用,通过修正优化模块,使优化器采用自动索引查询,进而能够通过创建内部临时表的方法,优化start with的执行性能,提高运行速率,快速得到运行结果。
-
公开(公告)号:CN112597251B
公开(公告)日:2023-01-24
申请号:CN202011607549.9
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。
-
公开(公告)号:CN112612855A
公开(公告)日:2021-04-06
申请号:CN202011607632.6
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。
-
公开(公告)号:CN112597251A
公开(公告)日:2021-04-02
申请号:CN202011607549.9
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。
-
公开(公告)号:CN105740305A
公开(公告)日:2016-07-06
申请号:CN201510786469.7
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/235
Abstract: 本发明提供了一种集群数据库的数据加载方法,所述方法包括:接收客户端发送的数据文件;解析所述数据文件中的数据,判断所述数据中是否包括表达式;在所述数据中包括表达式时,计算所述表达式的结果;将所述结果代入数据,并加载所述代入的数据。实现了在支持在加载过程中对数据文件中包含的表达式进行求值和代入。用户往往不需要修改或重写数据文件,仅可通过相应的条件就可以加载新的数据,提高了数据文件的使用效率,提高了集群数据库加载工具的灵活性,极大改善了数据加载工具的用户使用体验。
-
公开(公告)号:CN105512168A
公开(公告)日:2016-04-20
申请号:CN201510782765.X
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/254
Abstract: 本发明提供了一种集群数据库复合加载数据的方法及装置,所述方法包括:接收客户端发送的控制文件;解析所述控制文件,获取加载任务;依次向集群数据库加载所述任务。由于采用上述技术方案,能够支持从多种不同的数据源读取数据文件,支持从多种不同格式的数据文件读取数据,支持不同数据源与不同数据格式的任意组合,因此极大增加了集群数据库加载工具的功能多样性,极大增强了集群数据库加载工具功能的可扩充性,极大提高了集群数据库加载工具功能的实用灵活性。
-
公开(公告)号:CN105354323A
公开(公告)日:2016-02-24
申请号:CN201510786399.5
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30442
Abstract: 本发明旨在提供一种在列存数据库中使用布隆过滤器快速精确查询数据的方法。包括,在列存数据库的精确查询数据操作中使用保存单元级的布隆过滤器对数据保存单元进行筛选。布隆过滤器可以有效减少精确查询数据操作过程中对磁盘和文件系统的I/O访问,加快精确查询数据操作的速度。
-
公开(公告)号:CN105354320A
公开(公告)日:2016-02-24
申请号:CN201510782856.3
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/172
Abstract: 本发明提供了一种快速加载多个数据文件的方法,所述方法包括:获取数据文件的基本信息;根据获取的数据文件的基本信息加载所述数据文件。本发明不必等待获取到全部数据文件的基本信息,就开始对已经获取到基本信息的数据文件进行加载,因此可以提高集群数据库加载工具的性能,有效减少用户的等待时间,极大改善用户的使用体验。
-
-
-
-
-
-
-
-
-