数据多源同步过程中的DDL语句执行方法、装置

    公开(公告)号:CN117725085A

    公开(公告)日:2024-03-19

    申请号:CN202311865570.2

    申请日:2023-12-29

    摘要: 本申请公开了一种数据多源同步过程中的DDL语句执行方法、装置,属于数据库技术领域。其中,该方法包括:在数据多源同步过程中,读取数据定义语言DDL语句,解析所述DDL语句对应的语句类型、以及所述DDL语句操作的主表信息;根据所述主表信息查询所述DDL语句对应的源数据库和目标数据库;根据所述语句类型,对所述源数据库和所述目标数据库中的主表执行所述DDL语句。通过本申请,解决了相关技术中数据库库表结构变更时如何保证数据一致性的技术问题。

    数据库中主用数据节点的确定方法、装置及存储介质

    公开(公告)号:CN115905270B

    公开(公告)日:2023-06-09

    申请号:CN202310017431.8

    申请日:2023-01-06

    摘要: 本申请涉及一种数据库中主用数据节点的确定方法、装置及存储介质,该方法包括:在数据库中的主用数据节点出现故障的情况下,从N个数据节点中筛选出M个准新主用数据节点,数据库中包括N个数据节点,N个数据节点包括一个主用数据节点和L个备用数据节点;从M个准新主用数据节点中选择出目标数据节点;目标数据节点为回放已完成的准新主用数据节点;基于目标数据节点,从目标区域内确定新的主用数据节点,其中,新的主用数据节点上的数据与目标数据节点上的数据一致,数据库中的N个数据节点分布在多个区域内。通过本申请,解决了现有技术中在主用数据节点发生故障后,进行主备数据节点的切换的方式无法保证切换前后数据的一致性的问题。

    数据库中主用数据节点的确定方法、装置及存储介质

    公开(公告)号:CN115905270A

    公开(公告)日:2023-04-04

    申请号:CN202310017431.8

    申请日:2023-01-06

    摘要: 本申请涉及一种数据库中主用数据节点的确定方法、装置及存储介质,该方法包括:在数据库中的主用数据节点出现故障的情况下,从N个数据节点中筛选出M个准新主用数据节点,数据库中包括N个数据节点,N个数据节点包括一个主用数据节点和L个备用数据节点;从M个准新主用数据节点中选择出目标数据节点;目标数据节点为回放已完成的准新主用数据节点;基于目标数据节点,从目标区域内确定新的主用数据节点,其中,新的主用数据节点上的数据与目标数据节点上的数据一致,数据库中的N个数据节点分布在多个区域内。通过本申请,解决了现有技术中在主用数据节点发生故障后,进行主备数据节点的切换的方式无法保证切换前后数据的一致性的问题。

    数据传输方法、装置、计算机设备及存储介质

    公开(公告)号:CN117708153A

    公开(公告)日:2024-03-15

    申请号:CN202311798705.8

    申请日:2023-12-25

    发明人: 殷晓飞

    摘要: 本发明实施例涉及一种数据传输方法、装置、计算机设备及存储介质,所述方法包括:获取待传输数据中每条数据的唯一性约束值,以及获取对每条数据进行写入操作的操作类型;根据所述唯一性约束值和所述操作类型对所述待传输数据进行合并处理;对合并处理后的所述待传输数据进行传输。由此,可以实现在数据传输过程中在保证数据结果幂等的情况下根据数据的唯一性约束值和写入操作类型进行合并,通过合并降低了数据量而产生了压缩的效果;在压缩的基础上因数据间没有冲突而可按需并行执行到下游,从而提升执行的性能和系统吞吐量,以及数据传输效率。

    异构数据库的数据迁移方法及装置、存储介质、电子装置

    公开(公告)号:CN117539849A

    公开(公告)日:2024-02-09

    申请号:CN202311842649.3

    申请日:2023-12-28

    IPC分类号: G06F16/21 G06F16/25 G06F16/23

    摘要: 本发明提供了一种异构数据库的数据迁移方法及装置、存储介质、电子装置,其中,该方法包括:获取源库的源数据结构,对源数据结构进行结构转换和结构修改,得到目标数据结构,将目标数据结构导入异构数据库中;采集源库的源库数据,并根据目标数据结构将源库数据全量迁移到异构数据库;在源库数据全量迁移到异构数据库之后,获取源库在数据全量迁移前的系统更改号和异构数据库的RowID信息集;从系统更改号开始采集源库的归档日志,将归档日志迁移到异构数据库,通过对源数据结构进行结构转换和结构修改,根据修改后的目标数据结构对数据库进行数据迁移,实现了数据从源库到异构数据库的数据迁移,并确保了迁移数据的数据一致性。

    分布式数据库的连接方法、装置、电子设备及存储介质

    公开(公告)号:CN116248355A

    公开(公告)日:2023-06-09

    申请号:CN202211728641.X

    申请日:2022-12-30

    发明人: 殷晓飞

    IPC分类号: H04L9/40 H04L41/042

    摘要: 本发明公开了一种分布式数据库的连接方法、装置、电子设备及存储介质,属于数据库技术领域。其中,该方法包括:在分布式数据库的驱动程序中获取多个服务端对应的服务端标识,其中,所述分布式数据库包括多个服务端;分别对每个服务端进行可服务性探测,对探测为异常的第一服务端对应的连接进行断链,并将所述第一服务端对应的服务端标识添加至黑名单中;接收建链请求,根据所述建链请求选择所述黑名单之外的第二服务端创建连接。通过本发明,解决了相关技术中分布式数据库的连接管理效率较低的技术问题。

    数据库的并行比对方法及装置、存储介质、电子装置

    公开(公告)号:CN118981466A

    公开(公告)日:2024-11-19

    申请号:CN202411007517.3

    申请日:2024-07-25

    发明人: 殷晓飞

    IPC分类号: G06F16/22 G06F16/2455

    摘要: 本发明提供了一种数据库的并行比对方法及装置、存储介质、电子装置,其中,该方法包括:确定待比较的第一数据表和第二数据表、以及确定并发度;将所述第一数据表拆分为第一分段集合,其中,所述第一分段集合用于将所述第一数据表和所述第二数据表拆分为多个相同数量的数据表区间,所述分段集合中的每个分段对应的数据条数小于所述第一数据表的总数据条数;基于所述并发度和所述第一分段集合对所述第一数据表和所述第二数据表进行并发比对。通过本发明实施例,可以在多个分段上对两个数据表进行并发比对,解决了相关技术只能并发比对数据表的技术问题,提高了数据表的比对效率。

    与数据库交互数据的方法、装置、电子设备和存储介质

    公开(公告)号:CN118964382A

    公开(公告)日:2024-11-15

    申请号:CN202411023232.9

    申请日:2024-07-29

    发明人: 郭瑞亮 殷晓飞

    摘要: 本申请涉及一种与数据库交互数据的方法、装置、电子设备和存储介质,所述方法包括:确定表格中的目标行数据对应的第一SQL语句和第二SQL语句,其中,所述第一SQL语句和所述第二SQL语句用于按照DML操作时序依次对所述目标行数据执行DML操作,所述第一SQL语句为原始语句或合并后的语句;若所述第一SQL语句指示的DML操作和所述第二SQL语句指示的DML操作满足预设合并条件,则将所述第一SQL语句和所述第二SQL语句合并成新的SQL语句;当所述新的SQL语句无法再进行语句合并时,下发所述目标行数据对应的SQL语句至数据库。本申请提高终端与数据库的交互性能。