发明公开
- 专利标题: 异构数据源同步方法、系统、电子设备及存储介质
-
申请号: CN202311251998.8申请日: 2023-09-26
-
公开(公告)号: CN117435670A公开(公告)日: 2024-01-23
- 发明人: 魏晓飞 , 葛春红 , 王凯军 , 鲍亮 , 徐瑛琦 , 李飞 , 李宏鹏 , 张丛灿
- 申请人: 河钢数字技术股份有限公司 , 河钢雄安数字科技有限公司 , 西安电子科技大学
- 申请人地址: 河北省石家庄市高新区中山东路856号科技创新服务中心1号楼
- 专利权人: 河钢数字技术股份有限公司,河钢雄安数字科技有限公司,西安电子科技大学
- 当前专利权人: 河钢数字技术股份有限公司,河钢雄安数字科技有限公司,西安电子科技大学
- 当前专利权人地址: 河北省石家庄市高新区中山东路856号科技创新服务中心1号楼
- 代理机构: 河北国维致远知识产权代理有限公司
- 代理商 秦敏华
- 主分类号: G06F16/27
- IPC分类号: G06F16/27 ; G06F16/2458 ; G06F16/2455 ; G06F16/21 ; G06F9/54
摘要:
本申请适用于电数字数据处理技术领域,提供了异构数据源同步方法、系统、电子设备及存储介质,该异构数据源同步方法包括:获取异构数据源中数据库日志的数据变更信息,并分别存储到第一Topic中;获取第一Topic中的数据变更信息,并将第一Topic中的数据变更信息包装为多条事件流;将每条事件流中的数据变更信息转化为MyRecord对象,并将事件流进行分区,形成多个键控流,对每个键控流上的MyRecord对象进行聚合;将聚合后的多条事件流合并为一条事件流,整合合并后的事件流,并存储到第二Topic中;将第二Topic中的数据变更信息分发到目标数据库。本申请实施例可同时兼顾实时性、低侵入性和较高同步效率。