一种数据库查询优化方法和系统

    公开(公告)号:CN111611274A

    公开(公告)日:2020-09-01

    申请号:CN202010469533.X

    申请日:2020-05-28

    IPC分类号: G06F16/2453 G06N3/04

    摘要: 本发明公开了一种数据库查询优化方法,包括:连接顺序选择器和自适应决策网络。其中连接顺序选择器用于选择查询计划中最优的连接顺序,其中包括一种新的数据库查询计划编码方案,将编码与连接顺序一一对应;一个预测查询计划执行时间的价值网络,由查询计划及其对应真实执行时间进行训练,用于蒙特卡洛树搜索中的奖励反馈;蒙特卡洛树搜索方法,用于模拟生成多种不同的连接顺序,由连接顺序价值网络评价该连接顺序的好坏,在达到预设的探索次数后返回一个推荐的连接顺序。自适应决策网络用于区分查询语句是否使用该连接顺序选择器,提升优化系统的整体性能。本发明的方法和系统可以有效避免传统查询优化器的局限性,提高数据库查询效率。

    一种数据库查询优化方法和系统

    公开(公告)号:CN111611274B

    公开(公告)日:2024-07-16

    申请号:CN202010469533.X

    申请日:2020-05-28

    IPC分类号: G06F16/2453 G06N3/084

    摘要: 本发明公开了一种数据库查询优化方法,包括:连接顺序选择器和自适应决策网络。其中连接顺序选择器用于选择查询计划中最优的连接顺序,其中包括一种新的数据库查询计划编码方案,将编码与连接顺序一一对应;一个预测查询计划执行时间的价值网络,由查询计划及其对应真实执行时间进行训练,用于蒙特卡洛树搜索中的奖励反馈;蒙特卡洛树搜索方法,用于模拟生成多种不同的连接顺序,由连接顺序价值网络评价该连接顺序的好坏,在达到预设的探索次数后返回一个推荐的连接顺序。自适应决策网络用于区分查询语句是否使用该连接顺序选择器,提升优化系统的整体性能。本发明的方法和系统可以有效避免传统查询优化器的局限性,提高数据库查询效率。

    基于SSD的支持高效存储空间管理的键值分离存储方法

    公开(公告)号:CN112131140B

    公开(公告)日:2023-07-14

    申请号:CN202011018307.6

    申请日:2020-09-24

    IPC分类号: G06F12/02

    摘要: 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法,包括:将值存储空间划分为等长的段,构建段管理器以管理所有数据段的失效和有效状态,为每个段建立值存储失效偏移集和键存储失效偏移集,进行可用段缓存和半失效段缓存,所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据,以辅助值存储的空间回收;键存储失效偏移集用于记录被动垃圾回收后,被回收的数据段中仍存在于键存储中的偏移,这些位置不用再回收,因此如果在键存储中采集到这些偏移,直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对,构建一个高效的值存储空间管理器,实现轻量地垃圾回收操作,进一步减轻值存储中GC操作对系统前台写操作的影响。

    基于SSD的支持高效存储空间管理的键值分离存储方法

    公开(公告)号:CN112131140A

    公开(公告)日:2020-12-25

    申请号:CN202011018307.6

    申请日:2020-09-24

    IPC分类号: G06F12/02

    摘要: 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法,包括:将值存储空间划分为等长的段,构建段管理器以管理所有数据段的失效和有效状态,为每个段建立值存储失效偏移集和键存储失效偏移集,进行可用段缓存和半失效段缓存,所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据,以辅助值存储的空间回收;键存储失效偏移集用于记录被动垃圾回收后,被回收的数据段中仍存在于键存储中的偏移,这些位置不用再回收,因此如果在键存储中采集到这些偏移,直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对,构建一个高效的值存储空间管理器,实现轻量地垃圾回收操作,进一步减轻值存储中GC操作对系统前台写操作的影响。

    一种支持高并发场景的学习索引方法和系统

    公开(公告)号:CN118467542A

    公开(公告)日:2024-08-09

    申请号:CN202410606031.5

    申请日:2024-05-16

    摘要: 本发明公开了一种支持高并发场景的学习索引系统,包括接收来自用户的请求,并根据用户发送该请求的接口判断该请求是单点查询请求、范围查询请求、还是写请求,如果是写请求,则根据该写请求获取待插入的数据点,并确定该数据点在预先建立的递归模型索引中所对应的叶子节点,根据第二模块得到的待插入的数据点生成一个增量记录,将该增量记录插入到对应的增量缓冲区中的增量链表中,并判断增量链表中存储的增量记录个数是否达到预设阈值。本发明能解决现有使用基于树的增量缓冲区的学习索引方法和使用基于间隙数组的学习索引方法都采用细粒度锁与乐观并发控制技术实现索引的并发访问,导致昂贵的锁开销的技术问题。

    一种数据库系统的查询重写方法及系统

    公开(公告)号:CN118445315A

    公开(公告)日:2024-08-06

    申请号:CN202410606057.X

    申请日:2024-05-16

    摘要: 本发明公开了一种数据库系统的查询重写方法,首先使用Calcite的查询解析工具和查询校验工具将原始查询转换为扩展关系代数表达式,使用扩展关系代数式的好处在于其提供了一种抽象且通用的表达式来表示查询语句,降低查询重写时所处理的语言复杂性;然后建立将扩展关系代数表达式的语言和重写规则,并将扩展关系代数表达式转换为E‑Graph,从而使用等价饱和图对重写结果进行高效地编码;使用蒙特卡洛树搜索方法来探索当前E‑Graph结构下最优被采用的重写操作,每一步首先获取当前策略树节点的E‑Graph副本,在该副本上重放当前策略树节点的重写规则链表。本发明能解决现有经典查询重写方法由于没有对重写空间进行探索,导致容易造成局部优化的技术问题。