发明公开
- 专利标题: 一种同步数据异常处理方法及系统
-
申请号: CN202011051463.2申请日: 2020-09-29
-
公开(公告)号: CN112181966A公开(公告)日: 2021-01-05
- 发明人: 曾国江 , 刘跃红 , 夏菊平 , 李雨峰
- 申请人: 银盛支付服务股份有限公司
- 申请人地址: 广东省深圳市龙华区民治街道新区大道997号远景家园五楼501
- 专利权人: 银盛支付服务股份有限公司
- 当前专利权人: 银盛支付服务股份有限公司
- 当前专利权人地址: 广东省深圳市龙华区民治街道新区大道997号远景家园五楼501
- 代理机构: 深圳市深可信专利代理有限公司
- 代理商 张勇
- 主分类号: G06F16/215
- IPC分类号: G06F16/215 ; G06F16/2457 ; G06F9/54
摘要:
本发明实施例提供一种同步数据异常处理方法,包括以下步骤:步骤一:将从源端oracle的数据队列读取的数据同步推送至Kafka集群;步骤二:当MongoDB出现异常时,将所有异常数据的主键保存至第一MongoDB集群具有日期字段的临时表中;步骤三:对所述具有日期字段的临时表的异常数据进行聚合统计,得到异常数据总量;步骤四:对所述第一MongoDB集群的所有异常数据进行修复;本发明实施例便于记录所有异常数据,用于后续分析且提高了处理异常数据的效率。