-
公开(公告)号:CN111611274A
公开(公告)日:2020-09-01
申请号:CN202010469533.X
申请日:2020-05-28
申请人: 华中科技大学 , 航天科工网络信息发展有限公司
IPC分类号: G06F16/2453 , G06N3/04
摘要: 本发明公开了一种数据库查询优化方法,包括:连接顺序选择器和自适应决策网络。其中连接顺序选择器用于选择查询计划中最优的连接顺序,其中包括一种新的数据库查询计划编码方案,将编码与连接顺序一一对应;一个预测查询计划执行时间的价值网络,由查询计划及其对应真实执行时间进行训练,用于蒙特卡洛树搜索中的奖励反馈;蒙特卡洛树搜索方法,用于模拟生成多种不同的连接顺序,由连接顺序价值网络评价该连接顺序的好坏,在达到预设的探索次数后返回一个推荐的连接顺序。自适应决策网络用于区分查询语句是否使用该连接顺序选择器,提升优化系统的整体性能。本发明的方法和系统可以有效避免传统查询优化器的局限性,提高数据库查询效率。
-
公开(公告)号:CN112131206B
公开(公告)日:2023-01-10
申请号:CN202011029986.7
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
摘要: 本发明涉及一种多模型数据库OrientDB参数配置自动调优方法,包括:在默认参数配置下使用MMBench对OrientDB进行基准测试,使用OSMonitor得到OrientDB的初始运行状态s,使用OPIndicator得到OrientDB的性能p;在状态s,调优模型输出参数配置a;将OrientDB参数配置调整为a后,使用MMBench对OrientDB进行基准测试,OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′,OPIndicator统计OrientDB的性能变化,根据奖励函数计算得到奖励r;将训练数据四元组(s,a,r,s′)存入调优经验池;从调优经验池中随机采样数量为m的小批量样本用以训练调优模型;如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型;在实际工作负载下使用预训练调优模型输出推荐的参数配置。
-
公开(公告)号:CN111611274B
公开(公告)日:2024-07-16
申请号:CN202010469533.X
申请日:2020-05-28
申请人: 华中科技大学 , 航天科工网络信息发展有限公司
IPC分类号: G06F16/2453 , G06N3/084
摘要: 本发明公开了一种数据库查询优化方法,包括:连接顺序选择器和自适应决策网络。其中连接顺序选择器用于选择查询计划中最优的连接顺序,其中包括一种新的数据库查询计划编码方案,将编码与连接顺序一一对应;一个预测查询计划执行时间的价值网络,由查询计划及其对应真实执行时间进行训练,用于蒙特卡洛树搜索中的奖励反馈;蒙特卡洛树搜索方法,用于模拟生成多种不同的连接顺序,由连接顺序价值网络评价该连接顺序的好坏,在达到预设的探索次数后返回一个推荐的连接顺序。自适应决策网络用于区分查询语句是否使用该连接顺序选择器,提升优化系统的整体性能。本发明的方法和系统可以有效避免传统查询优化器的局限性,提高数据库查询效率。
-
公开(公告)号:CN112131140B
公开(公告)日:2023-07-14
申请号:CN202011018307.6
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F12/02
摘要: 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法,包括:将值存储空间划分为等长的段,构建段管理器以管理所有数据段的失效和有效状态,为每个段建立值存储失效偏移集和键存储失效偏移集,进行可用段缓存和半失效段缓存,所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据,以辅助值存储的空间回收;键存储失效偏移集用于记录被动垃圾回收后,被回收的数据段中仍存在于键存储中的偏移,这些位置不用再回收,因此如果在键存储中采集到这些偏移,直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对,构建一个高效的值存储空间管理器,实现轻量地垃圾回收操作,进一步减轻值存储中GC操作对系统前台写操作的影响。
-
公开(公告)号:CN112000851B
公开(公告)日:2023-03-28
申请号:CN202010883469.X
申请日:2020-08-28
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F16/901
摘要: 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法,包括:利用文档模型对数据的描述能力,建立键值模型到文档模型的映射以及图模型到文档模型的映射;键值模型和文档模型的统一存储包括:设计Class类,Class类实例化后的普通表存放文档模型的记录;图模型和文档模型的统一存储方法包括:设计Vector类和Edge类,Vector类实例化后的顶点表存放文档模型的记录,Edge类实例化后的边表存放文档模型的记录;键值模型、图模型和文档模型的统一存储包括:Vector子类和Edge子类与父类Class类是继承关系,Class类支持键值模型和文档模型,Vector类和Edge类支持顶点和边,使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号:CN112131206A
公开(公告)日:2020-12-25
申请号:CN202011029986.7
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
摘要: 本发明涉及一种多模型数据库OrientDB参数配置自动调优方法,包括:在默认参数配置下使用MMBench对OrientDB进行基准测试,使用OSMonitor得到OrientDB的初始运行状态s,使用OPIndicator得到OrientDB的性能p;在状态s,调优模型输出参数配置a;将OrientDB参数配置调整为a后,使用MMBench对OrientDB进行基准测试,OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′,OPIndicator统计OrientDB的性能变化,根据奖励函数计算得到奖励r;将训练数据四元组(s,a,r,s′)存入调优经验池;从调优经验池中随机采样数量为m的小批量样本用以训练调优模型;如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型;在实际工作负载下使用预训练调优模型输出推荐的参数配置。
-
公开(公告)号:CN112131140A
公开(公告)日:2020-12-25
申请号:CN202011018307.6
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F12/02
摘要: 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法,包括:将值存储空间划分为等长的段,构建段管理器以管理所有数据段的失效和有效状态,为每个段建立值存储失效偏移集和键存储失效偏移集,进行可用段缓存和半失效段缓存,所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据,以辅助值存储的空间回收;键存储失效偏移集用于记录被动垃圾回收后,被回收的数据段中仍存在于键存储中的偏移,这些位置不用再回收,因此如果在键存储中采集到这些偏移,直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对,构建一个高效的值存储空间管理器,实现轻量地垃圾回收操作,进一步减轻值存储中GC操作对系统前台写操作的影响。
-
公开(公告)号:CN112000851A
公开(公告)日:2020-11-27
申请号:CN202010883469.X
申请日:2020-08-28
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F16/901
摘要: 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法,包括:利用文档模型对数据的描述能力,建立键值模型到文档模型的映射以及图模型到文档模型的映射;键值模型和文档模型的统一存储包括:设计Class类,Class类实例化后的普通表存放文档模型的记录;图模型和文档模型的统一存储方法包括:设计Vector类和Edge类,Vector类实例化后的顶点表存放文档模型的记录,Edge类实例化后的边表存放文档模型的记录;键值模型、图模型和文档模型的统一存储包括:Vector子类和Edge子类与父类Class类是继承关系,Class类支持键值模型和文档模型,Vector类和Edge类支持顶点和边,使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号:CN118467542A
公开(公告)日:2024-08-09
申请号:CN202410606031.5
申请日:2024-05-16
申请人: 华中科技大学
IPC分类号: G06F16/22 , G06F16/2455 , G06F16/2457 , G06F16/25
摘要: 本发明公开了一种支持高并发场景的学习索引系统,包括接收来自用户的请求,并根据用户发送该请求的接口判断该请求是单点查询请求、范围查询请求、还是写请求,如果是写请求,则根据该写请求获取待插入的数据点,并确定该数据点在预先建立的递归模型索引中所对应的叶子节点,根据第二模块得到的待插入的数据点生成一个增量记录,将该增量记录插入到对应的增量缓冲区中的增量链表中,并判断增量链表中存储的增量记录个数是否达到预设阈值。本发明能解决现有使用基于树的增量缓冲区的学习索引方法和使用基于间隙数组的学习索引方法都采用细粒度锁与乐观并发控制技术实现索引的并发访问,导致昂贵的锁开销的技术问题。
-
公开(公告)号:CN118445315A
公开(公告)日:2024-08-06
申请号:CN202410606057.X
申请日:2024-05-16
申请人: 华中科技大学
IPC分类号: G06F16/2453 , G06F16/2455 , G06F16/25
摘要: 本发明公开了一种数据库系统的查询重写方法,首先使用Calcite的查询解析工具和查询校验工具将原始查询转换为扩展关系代数表达式,使用扩展关系代数式的好处在于其提供了一种抽象且通用的表达式来表示查询语句,降低查询重写时所处理的语言复杂性;然后建立将扩展关系代数表达式的语言和重写规则,并将扩展关系代数表达式转换为E‑Graph,从而使用等价饱和图对重写结果进行高效地编码;使用蒙特卡洛树搜索方法来探索当前E‑Graph结构下最优被采用的重写操作,每一步首先获取当前策略树节点的E‑Graph副本,在该副本上重放当前策略树节点的重写规则链表。本发明能解决现有经典查询重写方法由于没有对重写空间进行探索,导致容易造成局部优化的技术问题。
-
-
-
-
-
-
-
-
-