-
公开(公告)号:CN112035410B
公开(公告)日:2023-08-18
申请号:CN202010833472.0
申请日:2020-08-18
申请人: 腾讯科技(深圳)有限公司 , 清华大学
IPC分类号: G06F16/13 , G06F16/18 , G06F16/182
摘要: 本申请公开了一种日志存储方法、装置、节点设备及存储介质,属于数据库技术领域。该方法包括:响应于目标事务的提交事件,确定第一存储介质的剩余容量,第一存储介质为用于存储日志的非易失性存储介质;响应于该剩余容量小于该目标事务的未缓存日志的数据量,创建日志检查点,将第二存储介质中基于修改操作产生的业务数据存储至第三存储介质;将该目标事务的未缓存日志写入到该第一存储介质。本申请通过直接在第一存储介质中持久化地存储日志,无需执行繁琐的双层日志缓存流程,大大节约了日志存储占用的空间,提升了数据库的系统性能,避免了限制数据库系统的吞吐量上限,有利于数据扩容。
-
公开(公告)号:CN112035410A
公开(公告)日:2020-12-04
申请号:CN202010833472.0
申请日:2020-08-18
申请人: 腾讯科技(深圳)有限公司 , 清华大学
IPC分类号: G06F16/13 , G06F16/18 , G06F16/182
摘要: 本申请公开了一种日志存储方法、装置、节点设备及存储介质,属于数据库技术领域。该方法包括:响应于目标事务的提交事件,确定第一存储介质的剩余容量,第一存储介质为用于存储日志的非易失性存储介质;响应于该剩余容量小于该目标事务的未缓存日志的数据量,创建日志检查点,将第二存储介质中基于修改操作产生的业务数据存储至第三存储介质;将该目标事务的未缓存日志写入到该第一存储介质。本申请通过直接在第一存储介质中持久化地存储日志,无需执行繁琐的双层日志缓存流程,大大节约了日志存储占用的空间,提升了数据库的系统性能,避免了限制数据库系统的吞吐量上限,有利于数据扩容。
-
公开(公告)号:CN117931531B
公开(公告)日:2024-07-23
申请号:CN202410334042.2
申请日:2024-03-22
申请人: 腾讯科技(深圳)有限公司
摘要: 本申请公开了一种数据备份系统、方法、装置、设备、存储介质及程序产品,涉及数据同步技术。该系统包括第一数据服务器、至少一个第二数据服务器和日志服务器;第一数据服务器,用于获取操作日志,操作日志用于记录对第一数据的操作行为;在基于操作日志更新第一数据的过程中,向第二数据服务器和日志服务器发送操作日志;第二数据服务器,用于接收操作日志进行备份存储;基于操作日志更新第二数据服务器中存储的第二数据;日志服务器,用于接收操作日志进行备份存储;在对操作日志进行备份存储成功后,向第一数据服务器反馈操作日志对应的日志备份结果;第一数据服务器,还用于接收日志备份结果,能够节约数据同步资源提高数据同步效率。
-
公开(公告)号:CN117539962B
公开(公告)日:2024-05-14
申请号:CN202410028878.X
申请日:2024-01-09
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F16/27 , G06F16/22 , G06F16/23 , G06F16/242
摘要: 本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品,可应用于数据库。方法包括:接收数据操作请求,数据操作请求可以为数据查询请求,获取数据操作请求对应的待操作数据,从待操作数据中确定主分区索引信息,从预先配置的分区配置信息中,查找主分区索引信息对应的次分区字段和存储节点群组信息;从待操作数据查找次分区字段对应的次分区索引信息,获取次分区索引信息对应的节点映射参数;基于预先建立的节点映射关系确定节点映射参数对应的目标存储节点,节点映射关系用于指示存储节点群组信息包含的各个存储节点和映射参数的对应关系;将数据操作请求发送至目标存储节点进行处理。提升了数据处理效率。
-
公开(公告)号:CN117688104A
公开(公告)日:2024-03-12
申请号:CN202410139143.4
申请日:2024-02-01
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F16/27 , G06F16/242 , G06F16/2455
摘要: 本申请实施例提供了一种请求处理方法、装置、电子设备及存储介质。方法应用于协调节点,方法包括:对请求端发送的第一数据请求中的查询语句解析得到执行计划,若执行计划不需要分布式事务支持,计算按照第一访问方式访问目标数据与按照第二访问方式访问目标数据的代价差异,若基于代价差异确定按照第一访问方式访问目标数据的代价小于按照第二访问方式访问目标数据的代价,则向请求端反馈直连访问报文,以使请求端根据直连访问报文中的目标分片标识信息建立与目标数据分片所在目标数据节点之间的通信连接,并访问目标数据节点上目标数据分片中的目标数据以获得数据访问处理结果。通过上述方法,能够有效提升数据查询处理效率。
-
公开(公告)号:CN116756184B
公开(公告)日:2024-01-12
申请号:CN202311036046.4
申请日:2023-08-17
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F16/2453 , G06F16/2452
摘要: 本申请提供了一种数据库实例处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品;方法包括:获取针对数据库的多个查询语句,并获取每个所述查询语句对应所述数据库的至少一个计算元素;针对每个所述查询语句,将所述查询语句对应所述数据库的至少一个计算元素构成所述查询语句的数据库执行模板;对与多个所述查询语句一一对应的多个所述数据库执行模板进行筛选处理,得到目标数据库执行模板;生成对应每个所述目标数据库执行模板的数据库实例,其中,任一数据库实例用于被执行以响应对应所述任一数据库实例的查询语句。通过本申请,能够提高查询语句的查询效率并且提高数据库的资源利用率。
-
公开(公告)号:CN116756247B
公开(公告)日:2023-11-17
申请号:CN202311052381.3
申请日:2023-08-21
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F16/27 , G06F16/215 , G06F16/25
摘要: 本申请涉及一种数据修复方法、装置、计算机设备、存储介质和计算机程序产品,涉及到数据库的同步、数据对账及数据库修改领域。所述方法包括:将数据源系统和数据使用方系统中的其中一方作为目标数据系统,另一方作为对应数据系统;确定与目标数据系统适配的第一数据标识信息,并据此确定目标数据系统中的待对账数据;根据目标数据系统与对应数据系统之间的数据转换关系,将待对账数据转换为转换数据;获取第二数据标识信息,并据此确定对应数据系统中的目标数据;比较转换数据与目标数据之间的一致性,得到数据对账结果,并在数据不一致时对目标数据与待对账数据中的一种进行数据修复。采用本方法能够提高数据对账修复效率。
-
公开(公告)号:CN117009346A
公开(公告)日:2023-11-07
申请号:CN202211221538.6
申请日:2022-09-30
申请人: 腾讯科技(深圳)有限公司
摘要: 本申请提供了一种数据库表结构变更方法、装置、设备及存储介质,可以应用于云技术、人工智能、智慧交通等多种场景,该方法包括:响应于表结构变更指令,确定数据库中表结构待变更的第一表,表结构变更指令用于指示将第一表的表结构变更为第二表的表结构;确定第一表中的数据在数据库中的存储方式;基于存储方式,确定第一表对应的N个第一数据范围,N个第一数据范围所包括的数据组成第一表中的数据,N为大于1的正整数;通过预设的P个并行资源,将N个第一数据范围中的数据并行迁移至第二表中,P为大于1的正整数。即本申请实施例通过P个并行资源,将第一表的N个第一数据范围中的数据,并行迁移至第二表中,实现表结构的快速变更,进而可以保证数据库业务的正常进行。
-
公开(公告)号:CN116909816A
公开(公告)日:2023-10-20
申请号:CN202311178386.0
申请日:2023-09-13
申请人: 腾讯科技(深圳)有限公司
IPC分类号: G06F11/14
摘要: 本发明公开了一种数据库恢复方法和装置、存储介质及电子设备。其中,该方法包括:获取数据库恢复请求,数据库恢复请求用于对与多个应用对应的数据库对象构成的对象标识集合进行数据恢复;获取与多个应用一一对应的多个对象标识集合,对象标识集合中包括与之对应的应用在运行过程中所调用的数据库对象的对象标识,对象标识集合中的每一个对象标识分别指示一个数据库对象;确定多个应用各自的关键指数,并根据关键指数指示的顺序确定多个对象标识集合各自对应的数据库对象子集的恢复顺序,关键指数用于指示应用的重要程度;根据恢复顺序对多个数据库对象子集依次进行数据恢复。本发明解决了现有数据库恢复方法的恢复效率较低的技术问题。
-
公开(公告)号:CN109739935B
公开(公告)日:2022-12-30
申请号:CN201910021178.7
申请日:2019-01-09
申请人: 腾讯科技(深圳)有限公司
摘要: 本发明公开了一种数据读取方法、装置、电子设备以及存储介质,属于数据库技术领域。本发明实施例提供的方法,通过找到当前全局读事务发生之前的赋值最大的已提交全局写事务标识,也即是找到了历史时刻上多个节点设备之间的、基于MVCC的、共同的具有事务一致性的点,相当于将所读取的时刻提前到一个历史时刻上,可以看作是一种提前读的过程,而在数据读取过程中,由于仅读取该已提交的全局写事务可见的数据,也就排除了可能导致事务不一致的全局写事务,使得所读取的数据具有事务一致性,实现了数据库系统对外的数据一致性。
-
-
-
-
-
-
-
-
-