-
公开(公告)号:CN106503058B
公开(公告)日:2019-01-18
申请号:CN201610856707.1
申请日:2016-09-27
申请人: 华为技术有限公司
IPC分类号: G06F16/27 , G06F16/2455 , G06F16/22 , G06F16/182
摘要: 本发明实施例提供一种数据加载方法、终端和计算集群,涉及通信技术领域,能够降低KeyValue数据库的读写时延,提高KeyValue数据库的查询性能。具体方案为:计算集群接收携带有待加载数据表的分区信息的数据加载请求;根据分区信息确定第一数据分区,分区信息指示的所有分区分别绑定一个第一数据分区;分别获取分区信息指示的每个分区的源数据,对每个分区的源数据分别执行映射任务;根据分区信息指示的分区与第一数据分区的绑定关系,将执行每个映射任务所得的中间数据对应地写入第一数据分区;对每个第一数据分区中的中间数据分别执行归约任务,执行得到每个归约任务的目标文件,目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。
-
公开(公告)号:CN105354255A
公开(公告)日:2016-02-24
申请号:CN201510689335.3
申请日:2015-10-21
申请人: 华为技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30477 , G06F17/30312 , G06F17/30336 , G06F17/30554 , G06F17/30952
摘要: 本发明是关于一种数据查询方法和装置,属于数据库领域。所述方法包括:接收客户端的查询请求,查询请求中包含有查询数据;根据查询请求查询主索引的目标二级索引,得到查询数据对应的目标行主键;从主索引中获取目标行主键对应的目标索引行中的索引数据;向客户端提供目标索引行中的索引数据。本发明通过查询数据查询目标二级索引,该目标二级索引中的第一索引列中记录有至少两个第二索引列中的索引数据,得到查询数据对应的行主键,再获取该行主键对应的索引数据,解决了相关技术中在进行查询时,查询效率较低的问题;达到了进行一次查询就能够查询多个第二索引列中的索引数据的效果,查询过程操作简单,查询效率较高。
-
公开(公告)号:CN105740405B
公开(公告)日:2020-06-26
申请号:CN201610061190.7
申请日:2016-01-29
申请人: 华为技术有限公司
摘要: 本发明公开了一种存储数据的方法和装置。该方法包括:获取数据对象的主索引,其中,该主索引的行标识包括至少一个字段;根据该主索引的行标识确定该数据对象的二级索引的行标识,其中,该二级索引的行标识包括索引字段和该主索引的行标识的至少一个字段中除该索引字段外的字段,该索引字段与该主索引的行标识的至少一个字段中第一个字段不同;根据该二级索引的行标识生成该数据对象的二级索引;根据该主索引和该二级索引存储该数据对象。本发明实施例的存储数据的方法和装置,能够节省存储空间。
-
公开(公告)号:CN105094707B
公开(公告)日:2018-03-13
申请号:CN201510508092.9
申请日:2015-08-18
申请人: 华为技术有限公司
IPC分类号: G06F3/06
CPC分类号: G06F17/30569 , G06F3/06 , G06F3/0604 , G06F3/0608 , G06F3/0661 , G06F3/067 , G06F17/30008 , G06F17/30315 , G06F17/30374
摘要: 本发明公开了一种数据存储、读取方法及装置,用于解决数据存储过程较为复杂的技术问题。所述数据存储方法包括:接收应用层下发的待写入的第一格式的第一数据;获取所述第一格式的数据与第二格式的数据之间的第一映射关系;所述第二格式为KeyValue格式,所述第一映射关系用于表明根据所述第一格式的数据转换得到的每个Value对应的行属性及列属性;根据所述第一映射关系,将所述第一数据的格式转换为所述第二格式,得到第二数据;存储所述第二数据。
-
公开(公告)号:CN107977396B
公开(公告)日:2021-07-20
申请号:CN201710767670.X
申请日:2015-02-17
申请人: 华为技术有限公司
摘要: 本发明实施例提供了一种KeyValue数据库的数据表的更新方法,包括:接收全量数据更新指令,根据全量数据更新指令获取待导入的数据,并根据待导入的数据生成全量数据更新文件;获取全量数据更新指令对应的数据表的M行旧数据,并根据M行旧数据的M个RowKey,生成全量数据删除文件;将全量数据更新文件导入数据表;将全量数据删除文件导入数据表。本发明实施例提供的KeyValue数据库的数据表的更新方法能够实现KeyValue数据库的数据表的全量更新,且更新速度较快,原子性较好。本发明实施例还提供了相关的表数据更新装置。
-
公开(公告)号:CN106503058A
公开(公告)日:2017-03-15
申请号:CN201610856707.1
申请日:2016-09-27
申请人: 华为技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30194 , G06F17/30312 , G06F17/30424 , G06F17/30575
摘要: 本发明实施例提供一种数据加载方法、终端和计算集群,涉及通信技术领域,能够降低KeyValue数据库的读写时延,提高KeyValue数据库的查询性能。具体方案为:计算集群接收携带有待加载数据表的分区信息的数据加载请求;根据分区信息确定第一数据分区,分区信息指示的所有分区分别绑定一个第一数据分区;分别获取分区信息指示的每个分区的源数据,对每个分区的源数据分别执行映射任务;根据分区信息指示的分区与第一数据分区的绑定关系,将执行每个映射任务所得的中间数据对应地写入第一数据分区;对每个第一数据分区中的中间数据分别执行归约任务,执行得到每个归约任务的目标文件,目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。
-
公开(公告)号:CN105094707A
公开(公告)日:2015-11-25
申请号:CN201510508092.9
申请日:2015-08-18
申请人: 华为技术有限公司
IPC分类号: G06F3/06
CPC分类号: G06F17/30569 , G06F3/06 , G06F3/0604 , G06F3/0608 , G06F3/0661 , G06F3/067 , G06F17/30008 , G06F17/30315 , G06F17/30374
摘要: 本发明公开了一种数据存储、读取方法及装置,用于解决数据存储过程较为复杂的技术问题。所述数据存储方法包括:接收应用层下发的待写入的第一格式的第一数据;获取所述第一格式的数据与第二格式的数据之间的第一映射关系;所述第二格式为KeyValue格式,所述第一映射关系用于表明根据所述第一格式的数据转换得到的每个Value对应的行属性及列属性;根据所述第一映射关系,将所述第一数据的格式转换为所述第二格式,得到第二数据;存储所述第二数据。
-
公开(公告)号:CN104573430A
公开(公告)日:2015-04-29
申请号:CN201310496792.1
申请日:2013-10-21
申请人: 华为技术有限公司
IPC分类号: G06F21/30
CPC分类号: G06F21/6218 , G06F21/604 , G06F21/30 , G06F2221/2149
摘要: 本发明实施例公开了一种数据访问权限控制方法及装置,用于解决多维度的用户的权限控制问题。本发明实施例包括:接收用户的访问请求;根据所述用户的维度信息,确定用户对应的权限组;根据用户的维度值,确定用户在每个权限组中的权限集;将用户在所述每个权限组中的权限集进行合并,获得用户的权限。
-
公开(公告)号:CN113361680A
公开(公告)日:2021-09-07
申请号:CN202010290428.X
申请日:2020-04-14
申请人: 华为技术有限公司
摘要: 本申请提供了一种神经网络架构搜索方法,应用于搜索系统,搜索系统包括生成器和搜索器,该方法包括:生成器根据搜索空间生成多个神经网络架构,搜索器获取根据多个神经网络架构获得的多个子模型在第一硬件上的评价指标值,搜索器根据多个子模型对应的神经网络架构和多个子模型在第一硬件上的评价指标值,确定满足预设条件的第一目标神经网络架构。如此,实现了不同初始子模型训练过程的解耦以及神经网络架构搜索过程和初始子模型训练过程的解耦,缩短了搜索时长,提高了搜索效率。
-
公开(公告)号:CN108170726A
公开(公告)日:2018-06-15
申请号:CN201711309217.0
申请日:2015-10-21
申请人: 华为技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30477 , G06F17/30312 , G06F17/30336 , G06F17/30554
摘要: 本发明是关于一种数据查询方法和装置,属于数据库领域。所述方法包括:接收客户端的查询请求,查询请求中包含有查询数据;根据查询请求查询主索引的目标二级索引,得到查询数据对应的目标行主键;从主索引中获取目标行主键对应的目标索引行中的索引数据;向客户端提供目标索引行中的索引数据。本发明通过查询数据查询目标二级索引,该目标二级索引中的第一索引列中记录有至少两个第二索引列中的索引数据,得到查询数据对应的行主键,再获取该行主键对应的索引数据,解决了相关技术中在进行查询时,查询效率较低的问题;达到了进行一次查询就能够查询多个第二索引列中的索引数据的效果,查询过程操作简单,查询效率较高。
-
-
-
-
-
-
-
-
-