-
公开(公告)号：CN107609038B
公开(公告)日：2020-08-07
申请号：CN201710693659.3
申请日：2017-08-14
申请人： 华为技术有限公司
IPC分类号： G06F16/215 , G06F16/22 , G06F16/27
摘要： 本申请公开了一种数据清理方法和装置，属于数据处理技术领域，所述方法包括：获取数据清理时间，所述数据清理时间为历史接收到数据清理请求时记录的时间，所述数据清理请求用于清理所述分布式数据库中满足清理条件的数据；获取所述分布式数据库中不满足所述清理条件的数据，以及满足所述清理条件但数据存储时间晚于所述数据清理时间的数据；在所述分布式数据库中合并获取到的所述数据。解决了现有技术中数据清理的性能低下以及可能会影响服务性能的问题，达到了可以提高数据清理的性能的效果。
-
公开(公告)号：CN106503058B
公开(公告)日：2019-01-18
申请号：CN201610856707.1
申请日：2016-09-27
申请人： 华为技术有限公司
IPC分类号： G06F16/27 , G06F16/2455 , G06F16/22 , G06F16/182
摘要： 本发明实施例提供一种数据加载方法、终端和计算集群，涉及通信技术领域，能够降低KeyValue数据库的读写时延，提高KeyValue数据库的查询性能。具体方案为：计算集群接收携带有待加载数据表的分区信息的数据加载请求；根据分区信息确定第一数据分区，分区信息指示的所有分区分别绑定一个第一数据分区；分别获取分区信息指示的每个分区的源数据，对每个分区的源数据分别执行映射任务；根据分区信息指示的分区与第一数据分区的绑定关系，将执行每个映射任务所得的中间数据对应地写入第一数据分区；对每个第一数据分区中的中间数据分别执行归约任务，执行得到每个归约任务的目标文件，目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。
-
公开(公告)号：CN107609038A
公开(公告)日：2018-01-19
申请号：CN201710693659.3
申请日：2017-08-14
申请人： 华为技术有限公司
IPC分类号： G06F17/30
摘要： 本申请公开了一种数据清理方法和装置，属于数据处理技术领域，所述方法包括：获取数据清理时间，所述数据清理时间为历史接收到数据清理请求时记录的时间，所述数据清理请求用于清理所述分布式数据库中满足清理条件的数据；获取所述分布式数据库中不满足所述清理条件的数据，以及满足所述清理条件但数据存储时间晚于所述数据清理时间的数据；在所述分布式数据库中合并获取到的所述数据。解决了现有技术中数据清理的性能低下以及可能会影响服务性能的问题，达到了可以提高数据清理的性能的效果。
-
公开(公告)号：CN106649708A
公开(公告)日：2017-05-10
申请号：CN201611186259.5
申请日：2013-08-29
申请人： 华为技术有限公司
IPC分类号： G06F17/30
CPC分类号： G06F16/2228 , G06F16/221 , G06F16/2455 , G06F16/24562 , G06F16/28 , G06F16/289
摘要： 本发明公开了一种存储数据的方法和装置。该方法包括：确定待存储到KeyValue类型分布式数据库中的至少两个数据对象的相同的列属性；确定该至少两个数据对象中的每个数据对象在KeyValue类型分布式数据库中的行标识的格式，该行标识的格式包括该相同的列属性和数据对象标识，不同数据对象的数据对象标识在该行标识的格式中的位置相同且位于该相同的列属性之后；根据每个数据对象的行标识的格式，确定每个数据对象的每条数据记录的行标识的值；在KeyValue类型分布式数据库中存储每条数据记录的行标识的值和每条数据记录，该每条数据记录的行标识的值作为该每条数据记录在KeyValue类型分布式数据库中的主索引。本发明实施例的存储数据的方法和装置，能够提高查询数据的效率。
-
公开(公告)号：CN105354255A
公开(公告)日：2016-02-24
申请号：CN201510689335.3
申请日：2015-10-21
申请人： 华为技术有限公司
IPC分类号： G06F17/30
CPC分类号： G06F17/30477 , G06F17/30312 , G06F17/30336 , G06F17/30554 , G06F17/30952
摘要： 本发明是关于一种数据查询方法和装置，属于数据库领域。所述方法包括：接收客户端的查询请求，查询请求中包含有查询数据；根据查询请求查询主索引的目标二级索引，得到查询数据对应的目标行主键；从主索引中获取目标行主键对应的目标索引行中的索引数据；向客户端提供目标索引行中的索引数据。本发明通过查询数据查询目标二级索引，该目标二级索引中的第一索引列中记录有至少两个第二索引列中的索引数据，得到查询数据对应的行主键，再获取该行主键对应的索引数据，解决了相关技术中在进行查询时，查询效率较低的问题；达到了进行一次查询就能够查询多个第二索引列中的索引数据的效果，查询过程操作简单，查询效率较高。
-
公开(公告)号：CN105243109B
公开(公告)日：2021-10-15
申请号：CN201510620975.9
申请日：2015-09-25
申请人： 华为技术有限公司
摘要： 本发明实施例提供一种数据备份的方法和数据处理系统，该方法包括：备份第一存储文件，并记录备份操作的第一时间点，其中，第一存储文件为在第一时间点之前，存储在第一存储介质上的多个存储文件；当所述第一存储介质上的第二存储文件的数量满足预设阈值时，根据第一时间点，合并第二存储文件，得到至少两个第三存储文件；根据第一时间点，对至少两个第三存储文件进行增量备份，增量备份为备份第一时间点之后的至少一个第三存储文件。因此，本发明实施例提供数据备份的方法，通过记录数据备份的时间点，确定备份增量数据，避免了增量数据存储读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
-
公开(公告)号：CN105740405B
公开(公告)日：2020-06-26
申请号：CN201610061190.7
申请日：2016-01-29
申请人： 华为技术有限公司
摘要： 本发明公开了一种存储数据的方法和装置。该方法包括：获取数据对象的主索引，其中，该主索引的行标识包括至少一个字段；根据该主索引的行标识确定该数据对象的二级索引的行标识，其中，该二级索引的行标识包括索引字段和该主索引的行标识的至少一个字段中除该索引字段外的字段，该索引字段与该主索引的行标识的至少一个字段中第一个字段不同；根据该二级索引的行标识生成该数据对象的二级索引；根据该主索引和该二级索引存储该数据对象。本发明实施例的存储数据的方法和装置，能够节省存储空间。
-
公开(公告)号：CN108427736B
公开(公告)日：2020-01-17
申请号：CN201810167679.1
申请日：2018-02-28
申请人： 华为技术有限公司
IPC分类号： G06F16/2453 , G06F16/22
摘要： 本申请提供了一种用于查询数据的方法和装置，该方法包括：获取第一数据；根据该第一数据中的L列数据生成P个索引键；根据该P个索引键、该第一数据的行主键和该第一数据的内部数据标识，在该第一数据对应的第一索引分区中更新第一索引信息，该第一数据的内部数据标识在该第一索引分区中是唯一的，该第一索引信息包括针对已存储的M条数据的第一对应关系和第二对应关系，其中，该第一对应关系表示基于该M条数据生成的N个索引键与N组内部数据标识之间的一一对应关系，该第二对应关系表示基于该M条数据生成的M个行主键和该M条数据的M个内部数据标识之间的一一对应关系。因此，可以有效地提供数据的查询效率。
-
公开(公告)号：CN110168529A
公开(公告)日：2019-08-23
申请号：CN201780003522.9
申请日：2017-08-03
申请人： 华为技术有限公司
摘要： 一种数据存储方法、装置和存储介质，涉及光信息处理技术领域，所述方法包括：获取至少一条数据记录(401)，每条数据记录包括一个承载体标识和至少一个标签值，所述至少一条数据记录存储于数据表中，所述数据表用于记录承载体标识与标签值的对应关系；建立所述至少一条数据记录对应的位图索引(402)，所述位图索引包括至少一个位图，每个位图对应于一个标签值，每个位图包括至少一个位图位，每个位图位用于记录一个承载体标识所对应的承载体是否具备当前位图所对应的标签值。解决了相关技术中数据查询效率低的问题；达到了可以提高数据查询效率的效果。
-
公开(公告)号：CN108427736A
公开(公告)日：2018-08-21
申请号：CN201810167679.1
申请日：2018-02-28
申请人： 华为技术有限公司
IPC分类号： G06F17/30
摘要： 本申请提供了一种用于查询数据的方法和装置，该方法包括：获取第一数据；根据该第一数据中的L列数据生成P个索引键；根据该P个索引键、该第一数据的行主键和该第一数据的内部数据标识，在该第一数据对应的第一索引分区中更新第一索引信息，该第一数据的内部数据标识在该第一索引分区中是唯一的，该第一索引信息包括针对已存储的M条数据的第一对应关系和第二对应关系，其中，该第一对应关系表示基于该M条数据生成的N个索引键与N组内部数据标识之间的一一对应关系，该第二对应关系表示基于该M条数据生成的M个行主键和该M条数据的M个内部数据标识之间的一一对应关系。因此，可以有效地提供数据的查询效率。
-
-
-
-
-
-
-
-
-
搜索结果
40 条记录 (耗时 0.033 秒)
