-
公开(公告)号:CN117112696A
公开(公告)日:2023-11-24
申请号:CN202311104654.4
申请日:2023-08-30
申请人: 新华三大数据技术有限公司
IPC分类号: G06F16/27 , G06F16/2457 , G06F16/2455 , G06F16/28 , G06F16/215 , G06F16/23
摘要: 本发明涉及数据同步技术领域,公开了数据同步的方法、装置、计算机设备及存储介质,该方法包括:将实时捕获的源端数据库的DML数据缓存至缓存队列;所述缓存队列用于缓存多条DML数据;根据DML数据的操作类型,将所述缓存队列中非冗余的DML数据分类聚合为多个缓存子队列;非冗余的DML数据包括所述缓存队列中对应同一数据对象的最后一个DML数据,所述缓存子队列中的DML数据属于同一操作类型;以所述缓存子队列为单位,向目标端数据库同步所述缓存队列的DML数据。本发明可以对同一操作类型的多个DML数据批量入库,只需少量I/O操作,可以减少数据时延,能够提升端到端数据同步的效率,保证实时性,且可以大幅度提升吞吐量。
-
公开(公告)号:CN112559079A
公开(公告)日:2021-03-26
申请号:CN202011531041.5
申请日:2020-12-22
申请人: 新华三大数据技术有限公司
发明人: 王萌萌
摘要: 本公开提供了一种数据源连接驱动自适应加载方法、装置及电子设备,用于解决数据集成软件不能自适应接入目标数据源的技术问题。本公开技术方案将数据源连接驱动程序打包在驱动程序包中,通过自定义类加载工具依据驱动程序包中的驱动列表依次构造相应版本的数据源连接对象,当构造的数据源连接对象连接目标数据源连接成功后,说明版本适配成功。通过本公开方式实现了大数据集成软件可自适应适配目标数据库的数据源连接驱动版本,使得大数据集成软件对用户更加友好,数据连接更加灵活、智能。
-
公开(公告)号:CN118093721A
公开(公告)日:2024-05-28
申请号:CN202410295381.4
申请日:2024-03-14
申请人: 新华三大数据技术有限公司
摘要: 本发明涉及一种数据处理方法、装置、计算机设备及存储介质。本申请实施例提供的方法可以获取到源数据库经过增量作业得到的目标日志数据。目标日志数据包括目标增量数据、数据操作类型以及第一偏移量。根据数据操作类型和第一偏移量,可以确定目标增量数据是否满足第一处理条件。可以通过自定义的条件逻辑和规则来判断目标增量数据是否需要进行进一步处理。根据目标增量数据是否满足第一处理条件,可以确定当前处于的数据同步阶段。根据当前数据同步阶段,可以使用相应的数据同步策略来执行目标增量数据的同步操作。从而实现对目标增量数据的有效处理和同步,确保数据在源数据库和目标数据库之间的一致性和可靠性。
-
公开(公告)号:CN117609955A
公开(公告)日:2024-02-27
申请号:CN202311413406.8
申请日:2023-10-27
申请人: 新华三大数据技术有限公司
IPC分类号: G06F18/27 , G06F18/214 , G06N20/00 , H04L67/1095
摘要: 本发明提供一种同步参数动态调整方法、装置和设备,用于解决不能根据执行环境动态适配CDC同步作业任务同步参数的技术问题。本发明采集历史CDC同步作业的端点信息、同步参数、节点资源信息及任务性能指标等作业信息作为训练样本数据,训练针对批量大小的机器学习预测模型,在进行CDC同步作业任务调度时,基于当前指定时间区间内的作业信息,使用训练好的预测模型预测最优批量大小参数,动态设置CDC同步作业任务的批量大小参数,使得批量大小的同步参数更加适配实际业务场景,提高同步配置的智能化和同步的效率。
-
公开(公告)号:CN118227705A
公开(公告)日:2024-06-21
申请号:CN202410330214.9
申请日:2024-03-21
申请人: 新华三大数据技术有限公司
摘要: 本发明提供了一种数据同步方法、装置和设备,本发明在全量同步过程中获取并记录源表结构和对应的系统变化号,在使用日志挖掘工具以在线字典模式挖掘日志进行增量同步的过程中,当发现有数据定义语言DDL语句导致表结构发生变化时,记录DDL语句对应的SCN号及变化后的新表结构。在以断点续传或指定SCN号方式进行增量同步时,从表结构变化历史记录中获取断点或指定SCN号之前最近一次的表结构变化记录,将获取的表结构变化记录中的表结构作为有效表结构,基于有效表结构进行增量同步。本发明能够实现在确保数据一致的前提下保证日志挖掘工具的挖掘速度不受影响。
-
-
-
-