公开(公告)号：CN117112696A

公开(公告)日：2023-11-24

申请号：CN202311104654.4

申请日：2023-08-30

申请人： 新华三大数据技术有限公司

发明人： 王萌萌 ,  郑亚飞 ,  沙朋 ,  白晨 ,  李渭帅

IPC分类号： G06F16/27 ,  G06F16/2457 ,  G06F16/2455 ,  G06F16/28 ,  G06F16/215 ,  G06F16/23

摘要： 本发明涉及数据同步技术领域，公开了数据同步的方法、装置、计算机设备及存储介质，该方法包括：将实时捕获的源端数据库的DML数据缓存至缓存队列；所述缓存队列用于缓存多条DML数据；根据DML数据的操作类型，将所述缓存队列中非冗余的DML数据分类聚合为多个缓存子队列；非冗余的DML数据包括所述缓存队列中对应同一数据对象的最后一个DML数据，所述缓存子队列中的DML数据属于同一操作类型；以所述缓存子队列为单位，向目标端数据库同步所述缓存队列的DML数据。本发明可以对同一操作类型的多个DML数据批量入库，只需少量I/O操作，可以减少数据时延，能够提升端到端数据同步的效率，保证实时性，且可以大幅度提升吞吐量。

公开(公告)号：CN117609955A

公开(公告)日：2024-02-27

申请号：CN202311413406.8

申请日：2023-10-27

申请人： 新华三大数据技术有限公司

发明人： 白晨 ,  沙朋 ,  王萌萌 ,  李渭帅 ,  袁相相

IPC分类号： G06F18/27 ,  G06F18/214 ,  G06N20/00 ,  H04L67/1095

摘要： 本发明提供一种同步参数动态调整方法、装置和设备，用于解决不能根据执行环境动态适配CDC同步作业任务同步参数的技术问题。本发明采集历史CDC同步作业的端点信息、同步参数、节点资源信息及任务性能指标等作业信息作为训练样本数据，训练针对批量大小的机器学习预测模型，在进行CDC同步作业任务调度时，基于当前指定时间区间内的作业信息，使用训练好的预测模型预测最优批量大小参数，动态设置CDC同步作业任务的批量大小参数，使得批量大小的同步参数更加适配实际业务场景，提高同步配置的智能化和同步的效率。