-
公开(公告)号：CN112800023B
公开(公告)日：2023-01-10
申请号：CN202011473262.1
申请日：2020-12-11
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
摘要： 本发明涉及一种基于语义分类的多模型数据分布式存储和分级查询方法，其中，包括：多模型数据语义分类存储，数据查询及查询词的管理，分布式主备数据迁移及二级索引的更新；多模型数据语义分类存储包括：进行存储初步语义分类；进行索引初始化；进行索引存储，将二级索引每个节点以键值对的方式添加到分布式元数据节点内存中的索引类中，供其他节点在查询时不知道数据所在节点、数据库或类时使用；一级索引由节点本地数据库保存；进行多模型数据分类存储；进行数据语义查询和数据库查询；进行查询词的管理。本发明减少了查询时需要具体访问的节点数量，降低了查询的通信开销。
-
公开(公告)号：CN112131206B
公开(公告)日：2023-01-10
申请号：CN202011029986.7
申请日：2020-09-24
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
摘要： 本发明涉及一种多模型数据库OrientDB参数配置自动调优方法，包括：在默认参数配置下使用MMBench对OrientDB进行基准测试，使用OSMonitor得到OrientDB的初始运行状态s，使用OPIndicator得到OrientDB的性能p；在状态s，调优模型输出参数配置a；将OrientDB参数配置调整为a后，使用MMBench对OrientDB进行基准测试，OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′，OPIndicator统计OrientDB的性能变化，根据奖励函数计算得到奖励r；将训练数据四元组(s,a,r,s′)存入调优经验池；从调优经验池中随机采样数量为m的小批量样本用以训练调优模型；如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型；在实际工作负载下使用预训练调优模型输出推荐的参数配置。
-
公开(公告)号：CN112131140B
公开(公告)日：2023-07-14
申请号：CN202011018307.6
申请日：2020-09-24
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号： G06F12/02
摘要： 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法，包括：将值存储空间划分为等长的段，构建段管理器以管理所有数据段的失效和有效状态，为每个段建立值存储失效偏移集和键存储失效偏移集，进行可用段缓存和半失效段缓存，所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据，以辅助值存储的空间回收；键存储失效偏移集用于记录被动垃圾回收后，被回收的数据段中仍存在于键存储中的偏移，这些位置不用再回收，因此如果在键存储中采集到这些偏移，直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对，构建一个高效的值存储空间管理器，实现轻量地垃圾回收操作，进一步减轻值存储中GC操作对系统前台写操作的影响。
-
公开(公告)号：CN112000851B
公开(公告)日：2023-03-28
申请号：CN202010883469.X
申请日：2020-08-28
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号： G06F16/901
摘要： 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法，包括:利用文档模型对数据的描述能力，建立键值模型到文档模型的映射以及图模型到文档模型的映射；键值模型和文档模型的统一存储包括：设计Class类，Class类实例化后的普通表存放文档模型的记录；图模型和文档模型的统一存储方法包括：设计Vector类和Edge类，Vector类实例化后的顶点表存放文档模型的记录，Edge类实例化后的边表存放文档模型的记录；键值模型、图模型和文档模型的统一存储包括：Vector子类和Edge子类与父类Class类是继承关系，Class类支持键值模型和文档模型，Vector类和Edge类支持顶点和边，使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号：CN112507026B
公开(公告)日：2022-12-30
申请号：CN202011467318.2
申请日：2020-12-11
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
IPC分类号： G06F16/27 , G06F16/22 , G06F16/28 , G06F16/31 , G06F16/901
摘要： 本发明涉及一种基于键值、文档和图数据的分布式高速存储方法，其中，包括：从数据库或其它数据源获取键值、文档和图数据；对于数据进行分布式管理和数据分区，包括：数据存储到内存中，若收到查询和计算请求，应用程序从内存中查询数据，并在内存中进行计算；若原有管理节点离开集群，将在原有管理节点之前加入集群后最先加入集群的节点设为新的管理节点，新的管理节点再广播，进行数据迁移和分区表更新，若有普通节点新加入或离开集群，管理节点广播，再进行数据迁移和分区表更新。本发明分布式框架支持弹性扩展，数据自动均衡。增加集群节点数可以线性扩展高速存储空间和数据量。
-
公开(公告)号：CN112131206A
公开(公告)日：2020-12-25
申请号：CN202011029986.7
申请日：2020-09-24
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
摘要： 本发明涉及一种多模型数据库OrientDB参数配置自动调优方法，包括：在默认参数配置下使用MMBench对OrientDB进行基准测试，使用OSMonitor得到OrientDB的初始运行状态s，使用OPIndicator得到OrientDB的性能p；在状态s，调优模型输出参数配置a；将OrientDB参数配置调整为a后，使用MMBench对OrientDB进行基准测试，OSMonitor对OrientDB的运行状态进行实时监控和处理得到状态指标s′，OPIndicator统计OrientDB的性能变化，根据奖励函数计算得到奖励r；将训练数据四元组(s,a,r,s′)存入调优经验池；从调优经验池中随机采样数量为m的小批量样本用以训练调优模型；如果调优模型收敛或达到人为设置的终止条件则结束训练得到预训练调优模型；在实际工作负载下使用预训练调优模型输出推荐的参数配置。
-
公开(公告)号：CN112131140A
公开(公告)日：2020-12-25
申请号：CN202011018307.6
申请日：2020-09-24
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号： G06F12/02
摘要： 本发明涉及一种基于SSD的支持高效存储空间管理的键值分离存储方法，包括：将值存储空间划分为等长的段，构建段管理器以管理所有数据段的失效和有效状态，为每个段建立值存储失效偏移集和键存储失效偏移集，进行可用段缓存和半失效段缓存，所述值存储失效偏移集用于记录键存储的压缩操作中丢弃的失效值元数据，以辅助值存储的空间回收；键存储失效偏移集用于记录被动垃圾回收后，被回收的数据段中仍存在于键存储中的偏移，这些位置不用再回收，因此如果在键存储中采集到这些偏移，直接丢弃。本发明通过在键存储部分采集向下压缩操作中丢弃的失效键值对，构建一个高效的值存储空间管理器，实现轻量地垃圾回收操作，进一步减轻值存储中GC操作对系统前台写操作的影响。
-
公开(公告)号：CN112000851A
公开(公告)日：2020-11-27
申请号：CN202010883469.X
申请日：2020-08-28
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司 , 华中科技大学
IPC分类号： G06F16/901
摘要： 本发明涉及一种键值模型、文档模型和图模型数据的统一存储方法，包括:利用文档模型对数据的描述能力，建立键值模型到文档模型的映射以及图模型到文档模型的映射；键值模型和文档模型的统一存储包括：设计Class类，Class类实例化后的普通表存放文档模型的记录；图模型和文档模型的统一存储方法包括：设计Vector类和Edge类，Vector类实例化后的顶点表存放文档模型的记录，Edge类实例化后的边表存放文档模型的记录；键值模型、图模型和文档模型的统一存储包括：Vector子类和Edge子类与父类Class类是继承关系，Class类支持键值模型和文档模型，Vector类和Edge类支持顶点和边，使用Vector类和Edge类实例化的顶点和边可以同时存储键值模型、文档模型和图模型的数据。
-
公开(公告)号：CN112800023A
公开(公告)日：2021-05-14
申请号：CN202011473262.1
申请日：2020-12-11
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
摘要： 本发明涉及一种基于语义分类的多模型数据分布式存储和分级查询方法，其中，包括：多模型数据语义分类存储，数据查询及查询词的管理，分布式主备数据迁移及二级索引的更新；多模型数据语义分类存储包括：进行存储初步语义分类；进行索引初始化；进行索引存储，将二级索引每个节点以键值对的方式添加到分布式元数据节点内存中的索引类中，供其他节点在查询时不知道数据所在节点、数据库或类时使用；一级索引由节点本地数据库保存；进行多模型数据分类存储；进行数据语义查询和数据库查询；进行查询词的管理。本发明减少了查询时需要具体访问的节点数量，降低了查询的通信开销。
-
公开(公告)号：CN112507026A
公开(公告)日：2021-03-16
申请号：CN202011467318.2
申请日：2020-12-11
申请人： 北京计算机技术及应用研究所 , 航天科工网络信息发展有限公司
IPC分类号： G06F16/27 , G06F16/22 , G06F16/28 , G06F16/31 , G06F16/901
摘要： 本发明涉及一种基于键值、文档和图数据的分布式高速存储方法，其中，包括：从数据库或其它数据源获取键值、文档和图数据；对于数据进行分布式管理和数据分区，包括：数据存储到内存中，若收到查询和计算请求，应用程序从内存中查询数据，并在内存中进行计算；若原有管理节点离开集群，将在原有管理节点之前加入集群后最先加入集群的节点设为新的管理节点，新的管理节点再广播，进行数据迁移和分区表更新，若有普通节点新加入或离开集群，管理节点广播，再进行数据迁移和分区表更新。本发明分布式框架支持弹性扩展，数据自动均衡。增加集群节点数可以线性扩展高速存储空间和数据量。
-
-
-
-
-
-
-
-
-
搜索结果
39 条记录 (耗时 0.055 秒)
