-
公开(公告)号:CN112131206B
公开(公告)日:2023-01-10
申请号:CN202011029986.7
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
摘要: 本发明涉及一种多模型数据库OrientDB参数配置自动调优方法,包括:在默认参数配置下使用MMBench对OrientDB进行基准测试,使用OSMonitor得到OrientDB的初始运行状态s,使用OPIndicator得到OrientDB的性能p;在状态s,调优模型输出参数配置a;将OrientDB参数配置调整为a后,使用MMBench对OrientDB进行基准测试,OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′,OPIndicator统计OrientDB的性能变化,根据奖励函数计算得到奖励r;将训练数据四元组(s,a,r,s′)存入调优经验池;从调优经验池中随机采样数量为m的小批量样本用以训练调优模型;如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型;在实际工作负载下使用预训练调优模型输出推荐的参数配置。
-
公开(公告)号:CN111611274A
公开(公告)日:2020-09-01
申请号:CN202010469533.X
申请日:2020-05-28
申请人: 华中科技大学 , 航天科工网络信息发展有限公司
IPC分类号: G06F16/2453 , G06N3/04
摘要: 本发明公开了一种数据库查询优化方法,包括:连接顺序选择器和自适应决策网络。其中连接顺序选择器用于选择查询计划中最优的连接顺序,其中包括一种新的数据库查询计划编码方案,将编码与连接顺序一一对应;一个预测查询计划执行时间的价值网络,由查询计划及其对应真实执行时间进行训练,用于蒙特卡洛树搜索中的奖励反馈;蒙特卡洛树搜索方法,用于模拟生成多种不同的连接顺序,由连接顺序价值网络评价该连接顺序的好坏,在达到预设的探索次数后返回一个推荐的连接顺序。自适应决策网络用于区分查询语句是否使用该连接顺序选择器,提升优化系统的整体性能。本发明的方法和系统可以有效避免传统查询优化器的局限性,提高数据库查询效率。
-
公开(公告)号:CN111611274B
公开(公告)日:2024-07-16
申请号:CN202010469533.X
申请日:2020-05-28
申请人: 华中科技大学 , 航天科工网络信息发展有限公司
IPC分类号: G06F16/2453 , G06N3/084
摘要: 本发明公开了一种数据库查询优化方法,包括:连接顺序选择器和自适应决策网络。其中连接顺序选择器用于选择查询计划中最优的连接顺序,其中包括一种新的数据库查询计划编码方案,将编码与连接顺序一一对应;一个预测查询计划执行时间的价值网络,由查询计划及其对应真实执行时间进行训练,用于蒙特卡洛树搜索中的奖励反馈;蒙特卡洛树搜索方法,用于模拟生成多种不同的连接顺序,由连接顺序价值网络评价该连接顺序的好坏,在达到预设的探索次数后返回一个推荐的连接顺序。自适应决策网络用于区分查询语句是否使用该连接顺序选择器,提升优化系统的整体性能。本发明的方法和系统可以有效避免传统查询优化器的局限性,提高数据库查询效率。
-
公开(公告)号:CN112131140B
公开(公告)日:2023-07-14
申请号:CN202011018307.6
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F12/02
摘要: 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法,包括:将值存储空间划分为等长的段,构建段管理器以管理所有数据段的失效和有效状态,为每个段建立值存储失效偏移集和键存储失效偏移集,进行可用段缓存和半失效段缓存,所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据,以辅助值存储的空间回收;键存储失效偏移集用于记录被动垃圾回收后,被回收的数据段中仍存在于键存储中的偏移,这些位置不用再回收,因此如果在键存储中采集到这些偏移,直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对,构建一个高效的值存储空间管理器,实现轻量地垃圾回收操作,进一步减轻值存储中GC操作对系统前台写操作的影响。
-
公开(公告)号:CN112000851B
公开(公告)日:2023-03-28
申请号:CN202010883469.X
申请日:2020-08-28
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F16/901
摘要: 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法,包括:利用文档模型对数据的描述能力,建立键值模型到文档模型的映射以及图模型到文档模型的映射;键值模型和文档模型的统一存储包括:设计Class类,Class类实例化后的普通表存放文档模型的记录;图模型和文档模型的统一存储方法包括:设计Vector类和Edge类,Vector类实例化后的顶点表存放文档模型的记录,Edge类实例化后的边表存放文档模型的记录;键值模型、图模型和文档模型的统一存储包括:Vector子类和Edge子类与父类Class类是继承关系,Class类支持键值模型和文档模型,Vector类和Edge类支持顶点和边,使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号:CN112131206A
公开(公告)日:2020-12-25
申请号:CN202011029986.7
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
摘要: 本发明涉及一种多模型数据库OrientDB参数配置自动调优方法,包括:在默认参数配置下使用MMBench对OrientDB进行基准测试,使用OSMonitor得到OrientDB的初始运行状态s,使用OPIndicator得到OrientDB的性能p;在状态s,调优模型输出参数配置a;将OrientDB参数配置调整为a后,使用MMBench对OrientDB进行基准测试,OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′,OPIndicator统计OrientDB的性能变化,根据奖励函数计算得到奖励r;将训练数据四元组(s,a,r,s′)存入调优经验池;从调优经验池中随机采样数量为m的小批量样本用以训练调优模型;如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型;在实际工作负载下使用预训练调优模型输出推荐的参数配置。
-
公开(公告)号:CN112131140A
公开(公告)日:2020-12-25
申请号:CN202011018307.6
申请日:2020-09-24
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F12/02
摘要: 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法,包括:将值存储空间划分为等长的段,构建段管理器以管理所有数据段的失效和有效状态,为每个段建立值存储失效偏移集和键存储失效偏移集,进行可用段缓存和半失效段缓存,所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据,以辅助值存储的空间回收;键存储失效偏移集用于记录被动垃圾回收后,被回收的数据段中仍存在于键存储中的偏移,这些位置不用再回收,因此如果在键存储中采集到这些偏移,直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对,构建一个高效的值存储空间管理器,实现轻量地垃圾回收操作,进一步减轻值存储中GC操作对系统前台写操作的影响。
-
公开(公告)号:CN112000851A
公开(公告)日:2020-11-27
申请号:CN202010883469.X
申请日:2020-08-28
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号: G06F16/901
摘要: 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法,包括:利用文档模型对数据的描述能力,建立键值模型到文档模型的映射以及图模型到文档模型的映射;键值模型和文档模型的统一存储包括:设计Class类,Class类实例化后的普通表存放文档模型的记录;图模型和文档模型的统一存储方法包括:设计Vector类和Edge类,Vector类实例化后的顶点表存放文档模型的记录,Edge类实例化后的边表存放文档模型的记录;键值模型、图模型和文档模型的统一存储包括:Vector子类和Edge子类与父类Class类是继承关系,Class类支持键值模型和文档模型,Vector类和Edge类支持顶点和边,使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号:CN112800023B
公开(公告)日:2023-01-10
申请号:CN202011473262.1
申请日:2020-12-11
申请人: 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
摘要: 本发明涉及一种基于语义分类的多模型数据分布式存储和分级查询方法,其中,包括:多模型数据语义分类存储,数据查询及查询词的管理,分布式主备数据迁移及二级索引的更新;多模型数据语义分类存储包括:进行存储初步语义分类;进行索引初始化;进行索引存储,将二级索引每个节点以键值对的方式添加到分布式元数据节点内存中的索引类中,供其他节点在查询时不知道数据所在节点、数据库或类时使用;一级索引由节点本地数据库保存;进行多模型数据分类存储;进行数据语义查询和数据库查询;进行查询词的管理。本发明减少了查询时需要具体访问的节点数量,降低了查询的通信开销。
-
公开(公告)号:CN114430320A
公开(公告)日:2022-05-03
申请号:CN202111432346.5
申请日:2021-11-29
申请人: 航天科工网络信息发展有限公司
摘要: 本说明书公开了一种防窃听攻击和污染攻击的网络编码方法,包括:生成加密矩阵、密钥矩阵、伪随机向量、第一伪随机函数、第二伪随机函数、第三伪随机函数、第四伪随机函数、密钥矩阵以及密钥矩阵与第θ代新信息的内积;向信源节点发送密钥矩阵、第一伪随机函数、第四伪随机函数、第一伪随机数和伪随机向量;向中间节点发送密钥矩阵的一行、第四伪随机函数和伪随机向量中的一个;向每个信宿节点发送密钥矩阵、伪随机向量、第一伪随机函数、第二伪随机函数、第三伪随机函数、第四伪随机函数。由此可利用常数零空间内积同时防止污染攻击和追踪恶意污染节点,还可将加密矩阵隐藏在密钥子矩阵和代信息签名子矩阵的乘积矩阵的元素和中防止窃听攻击。
-
-
-
-
-
-
-
-
-