一种分区大表数据同步场景的处理方法及系统
摘要:
本发明涉及离线数据同步技术领域,提供了一种分区大表数据同步场景的处理方法及系统。该方法包括,获取待拆分的作业;对作业进行拆分,包括:调整传输通道数量;计算通道传输的最大记录数和最大比特流;基于通道传输的最大记录数和最大比特流,根据PARTITION配置对源端表进行分区拆分,创建分区查询SQL并生成配置;在分区查询SQL的记录数量超过设定阈值时,获取用户配置的拆分模式;分区查询的配置进一步拆分SQL,根据主键和拆分模式,拆分分区查询SQL为范围查询SQL;将分区查询SQL生成的配置添加到读分区组配置列表中;根据读分区组配置列表,生成写分区组配置列表;整合读写配置,生成任务组配置。
0/0