一种OLAP数据库排序算子中的高性能归并方法

    公开(公告)号:CN117112238A

    公开(公告)日:2023-11-24

    申请号:CN202311369632.0

    申请日:2023-10-23

    Inventor: 丁骁阳 赵伟

    Abstract: 本发明提供了一种OLAP数据库排序算子中的高性能归并方法,包括:将排序算子的输入数据的单位定义为段,每段为输入段;将每个输入段中的数据块添加到排序算子的cache中,用以在排序和物化时使用,其中数据块为输入数据的最小输入单元;针对添加到排序算子的cache中的输入数据进行内部排序,形成排序后的输入数据;针对排序后的输入数据,按照分割点拆分成t个子任务;分别在每个子任务中进行归并,所有子任务的归并结果即为整体的归并结果;根据整体的归并结果物化排序列的实际数据以及其它查询需要的列,输出结果。本发明有益效果:一种OLAP数据库排序算子中的高性能归并方法,可充分发挥多核CPU的计算性能,大幅缩短归并耗时。

    一种执行器多模态算子异步非阻塞分裂方法

    公开(公告)号:CN116954721A

    公开(公告)日:2023-10-27

    申请号:CN202311211785.2

    申请日:2023-09-20

    Inventor: 柳婉静 王东江

    Abstract: 本发明提供了一种执行器多模态算子异步非阻塞分裂方法,属于计算机技术领域,包括:利用算子分裂方法动态调整算子的分裂策略,将执行时间超过标准值的算子分裂,形成执行时间更短的子算子;利用加载策略综合评判算子和分裂后形成的子算子的优先级,将更优先需要执行的算子和子算子优先加载,然后评估算子和子算子之间的关系,为可同时执行的算子和子算子打上标记,用以并行执行时使用。本发明有益效果:通过对执行器的算子进行动态的异步非阻塞分裂,并结合智能加载策略和多线程技术的应用,实现了多模态算子的同时执行,避免算子执行时间不同导致的性能瓶颈,提高了设备整体的执行效率。该技术具有广泛的应用前景和市场前景。

    数据库日志记录方法及装置

    公开(公告)号:CN116561152A

    公开(公告)日:2023-08-08

    申请号:CN202310847728.7

    申请日:2023-07-12

    Abstract: 本申请提供一种数据库日志记录方法及装置,包括:响应更新指令,生成逻辑日志,所述逻辑日志结构包括:前镜像以及后镜像,所述前镜像:用于保存第一目标数据,所述后镜像:用于保存第二目标数据。通过本申请改变逻辑日志结构,直接对更新前以及更新后的数据进行保存,保证了数据完整性的前提下,减少了数据库日志量并且提升了数据库的性能。

    一种通过创建内部临时表索引提高start with查询性能的方法

    公开(公告)号:CN111078734B

    公开(公告)日:2023-08-08

    申请号:CN201911361506.4

    申请日:2019-12-25

    Abstract: 本发明提供一种通过创建内部临时表索引提高start with查询性能的方法,将查询中from的子句的多表关联操作变为内部临时表;对临时表进行扫描,取出符合条件的数据,并且使临时表可重复使用;创建栈表,将上一步中符合条件的数据放入栈表内;对该栈表进行扫描,出栈一条数据;对临时表进行扫描;将上两步的扫描结果进行汇合,得到符合下一个条件的数据;重复以上三步,至栈表为空;重复以上步骤至所有条件过滤完成,结果集中的数据即为最终结果。该发明的有益效果是:通过添加hint开关,使查询期间内部临时表可复用,通过修正优化模块,使优化器采用自动索引查询,进而能够通过创建内部临时表的方法,优化start with的执行性能,提高运行速率,快速得到运行结果。

    一种数据库变量参数作用域控制方法、装置及设备

    公开(公告)号:CN115630085B

    公开(公告)日:2023-03-28

    申请号:CN202211533168.X

    申请日:2022-12-02

    Inventor: 崔杰 李晨光

    Abstract: 本发明提供的一种数据库变量参数作用域控制方法、装置及设备,获取发送的SQL语句;解析所述SQL语句内各层查询语句间的嵌套关系;对目标查询语句进行语法合法性解析、语义合法性解析以及根据所述目标查询语句内预设的提示内容建立参数对象列表,并检查参数的合法性;建立所述目标查询语句的抽象语法树,将所述参数对象列表存储至所述抽象语法树的结构中;根据所述嵌套关系,将所述SQL语句内所有的抽象语法树构建为一个完整语法树;执行所述SQL语句的完整语法树,并返回执行结果。本申请所述的一种数据库变量参数作用域控制方法、装置及设备,实现对数据库变量参数的作用域进行更细粒度地控制。

    数据库集群日志同步方法、装置、服务器及存储介质

    公开(公告)号:CN112597251B

    公开(公告)日:2023-01-24

    申请号:CN202011607549.9

    申请日:2020-12-29

    Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。

    一种高效回收存储空间的方法

    公开(公告)号:CN114706797A

    公开(公告)日:2022-07-05

    申请号:CN202210638814.2

    申请日:2022-06-08

    Inventor: 刘秀鹏 李卓印

    Abstract: 本发明提供了一种高效回收存储空间的方法,具体步骤如下:客户端向集群协调器发送回收任务信息,集群协调器申请待处理目标表的排它锁;集群协调器向协调器节点发送回收任务信息;协调器节点根据接收的回收任务信息,按列逐行或者逐块处理磁盘数据中有空洞的数据并生成有效数据列,删除原有列无效数据;协调器节点将删除结果返回给集群协调器;释放目标表的排它锁。本发明所述的一种高效回收存储空间的方法,解决了大数据删除表数据后,这些数据仍然占用磁盘空间造成数据空洞的问题,解决了磁盘资源紧张以及只能通过表转储数据才能解决数据空洞和数据膨胀问题。

    基于探测消息传递的分布式数据库事务死锁检测解锁方法

    公开(公告)号:CN114579669A

    公开(公告)日:2022-06-03

    申请号:CN202210484065.2

    申请日:2022-05-06

    Abstract: 本发明提供了一种基于探测消息传递的分布式数据库事务死锁检测解锁方法,第一事务连接的N1P1进程需要使用的数据库资源被N2P2进程持有时,N1P1进程等待第二事务,同时N1P1进程给N2P2进程发送探测消息;若N2P2进程在等待第三事务,则将探测消息发送给N3P3进程,若N3P3进程在等待第四事务,则将探测消息发送给N4P4进程,依次类推,直至探测消息发送至NKPK进程,NKPK进程若在等待第一事务,N1P1进程收到流转回来之前发出的探测信息,则检测出全局死锁。本发明所述的基于探测消息传递的分布式数据库事务死锁检测解锁方法,死锁检测消息只沿着相关等待方向传递,不存在单一集中式检测协调者节点进程,对其它进程影响较小,系统开销小,检测时间短。

    一种用于云数据库的远程存储服务本地缓存管理方法

    公开(公告)号:CN114297243A

    公开(公告)日:2022-04-08

    申请号:CN202111678121.8

    申请日:2021-12-31

    Inventor: 赵伟 寇韦韦

    Abstract: 本发明提供了一种用于云数据库的远程存储服务本地缓存管理方法,代理服务器接收所有的请求;对请求合并优化;缓存管理服务器根据合并优化后的多条请求向本地缓存中查找;若本地缓存中存在本次请求的数据,则将请求的信息打包反馈给请求者;若本地缓存中不存在本次请求的数据,则将请求的路径反馈给请求者,请求者直接到对象服务器中查找相关信息,对象服务器将请求的相关信息反馈给缓存管理服务器。本发明所述的管理方法,实现集群的快速扩容或者缩容操作。获得缓冲数据后,可以采元数据管理机制,缓冲数据文件和缓冲状态做相关记录,便于存取数据使用,对读取数据的位置以及写入数据的位置进行管控和记录,提高读写数据的效率。

    一种实现数据库函数智能扩展的方法及系统

    公开(公告)号:CN113986889A

    公开(公告)日:2022-01-28

    申请号:CN202111617476.6

    申请日:2021-12-28

    Inventor: 赵伟 崔杰

    Abstract: 本发明提供了一种实现数据库函数智能扩展的方法及系统,预先设置扩展函数库及系统表;主控内核程序对自定义函数组进行生成,生成统一注册函数及自定义函数组文件;客户端创建自定义函数组,调用统一注册函数,将函数注册信息写入到系统表及内存;自定义函数组中的自定义函数的使用过程中,客户端输入自定义函数名称,确定自定义函数可执行,调用自定义函数组文件,执行自定义函数组。本发明所述的通过在数据库内设置系统表和扩展函数库,将系统表和扩展函数库与主控内核程序配合,增强数据库的扩展性,同时减少修改主控内核程序代码,减少升级风险。

Patent Agency Ranking