发明公开
- 专利标题: 一种分区大表数据同步场景的处理方法及系统
-
申请号: CN202311634378.2申请日: 2023-11-30
-
公开(公告)号: CN117708172A公开(公告)日: 2024-03-15
- 发明人: 高明 , 陈芳芳 , 徐冉 , 刘涛 , 谢吉伦 , 李咀庆 , 张明岩 , 朱龙
- 申请人: 山东鲁软数字科技有限公司
- 申请人地址: 山东省济南市高新技术产业开发区新泺大街2008号银荷大厦
- 专利权人: 山东鲁软数字科技有限公司
- 当前专利权人: 山东鲁软数字科技有限公司
- 当前专利权人地址: 山东省济南市高新技术产业开发区新泺大街2008号银荷大厦
- 代理机构: 济南圣达知识产权代理有限公司
- 代理商 王雪
- 主分类号: G06F16/2455
- IPC分类号: G06F16/2455 ; G06F16/242 ; G06F16/2453 ; G06F16/27
摘要:
本发明涉及离线数据同步技术领域,提供了一种分区大表数据同步场景的处理方法及系统。该方法包括,获取待拆分的作业;对作业进行拆分,包括:调整传输通道数量;计算通道传输的最大记录数和最大比特流;基于通道传输的最大记录数和最大比特流,根据PARTITION配置对源端表进行分区拆分,创建分区查询SQL并生成配置;在分区查询SQL的记录数量超过设定阈值时,获取用户配置的拆分模式;分区查询的配置进一步拆分SQL,根据主键和拆分模式,拆分分区查询SQL为范围查询SQL;将分区查询SQL生成的配置添加到读分区组配置列表中;根据读分区组配置列表,生成写分区组配置列表;整合读写配置,生成任务组配置。