异构数据源同步方法、系统、电子设备及存储介质
摘要:
本申请适用于电数字数据处理技术领域,提供了异构数据源同步方法、系统、电子设备及存储介质,该异构数据源同步方法包括:获取异构数据源中数据库日志的数据变更信息,并分别存储到第一Topic中;获取第一Topic中的数据变更信息,并将第一Topic中的数据变更信息包装为多条事件流;将每条事件流中的数据变更信息转化为MyRecord对象,并将事件流进行分区,形成多个键控流,对每个键控流上的MyRecord对象进行聚合;将聚合后的多条事件流合并为一条事件流,整合合并后的事件流,并存储到第二Topic中;将第二Topic中的数据变更信息分发到目标数据库。本申请实施例可同时兼顾实时性、低侵入性和较高同步效率。
0/0