公开(公告)号：CN111930817A

公开(公告)日：2020-11-13

申请号：CN202010738074.0

申请日：2020-07-28

申请人： 银盛支付服务股份有限公司

发明人： 刘跃红 ,  曹浩 ,  曾国江 ,  郭倩

IPC分类号： G06F16/25 ,  G06F16/215 ,  G06F16/27

摘要： 本发明公开了一种基于大数据的分布式非结构化数据库关联查询方法，涉及数据处理技术领域；该方法包括以下的步骤：S1、数据表的生成，结合业务需求，采用mapping设计多表关联的数据表实例，以获得多张数据表；S2、数据表监控；S3、数据同步；S4、ETL处理及数据聚合，通过kafka集群，对步骤S3中经过数据同步的数据进行清洗及预处理，并聚合后落地存储至非结构化数据库中；S5、分片算法的选择，当数据达到Tb级别数据量时，通过结合查询场景设计分片算法，实现数据的分布式海量存储；本发明的有益效果是：可实现结构化数据库与非结构化数据库的读写分离，解决海量数据存储问题。

公开(公告)号：CN112000969A

公开(公告)日：2020-11-27

申请号：CN202010838939.0

申请日：2020-08-19

申请人： 银盛支付服务股份有限公司

发明人： 刘跃红 ,  曾国江 ,  郭倩 ,  李雨峰

IPC分类号： G06F21/60 ,  G06F21/62

摘要： 本发明公开了一种大数据高效异同步解密处理方法、模块及系统，包括：将数据同步推送至Kafka集群；使用Kafka消费端对相应Topic进行ETL处理；若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表；设定定时任务，每时间间隔读取临时库中存放的待解密数据，解密完成后保存至分布式数据库中数仓指定表；异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。此种大数据高效异同步解密处理方法、模块及系统根据业务特点同时兼容同步与异步解密方式，满足大吞吐量性能要求；解决性能瓶颈，增加容错机制，能满足大批量事务解密需求。

公开(公告)号：CN111931105A

公开(公告)日：2020-11-13

申请号：CN202010699710.3

申请日：2020-07-20

申请人： 银盛支付服务股份有限公司

发明人： 曾国江 ,  刘跃红 ,  周小润 ,  郭倩

IPC分类号： G06F16/958 ,  G06F9/54

摘要： 本发明公开了一种kafka消费指定推送时间数据处理方法，涉及数据处理技术领域；该数据处理方法包括以下的步骤：S1、获取指定消费时间的偏移量，包括找到kafka的时间戳的步骤，以及通过kafka的时间戳获取指定消费时间的偏移量的步骤；S2、对kafka进行设置指定偏移量；通过调用kafka Api中的Kafka Consumer，采用seek方法跳到指定Partition的指定Offset处消费；S3、启动kafka消费程序，使设置的时间与消费数据对应的时间戳一致；本发明的有益效果是：该方法减少对重复数据的处理，保证数据质量，减缓因带宽占用过大而影响同网段的其他消费应用的处理能力。

公开(公告)号：CN112182087A

公开(公告)日：2021-01-05

申请号：CN202011062257.1

申请日：2020-09-30

申请人： 银盛支付服务股份有限公司

发明人： 夏菊平 ,  刘跃红 ,  李雨峰 ,  曾国江

IPC分类号： G06F16/25 ,  G06F16/27 ,  G06F9/54

摘要： 本发明实施例提供一种OGG同步实现Mongo多库连接方法，包括以下步骤：步骤一：应用系统将目标数据写入Oracle数据库，步骤二：消息中转OGG监控Oracle数据库中变化的数据，步骤三：消费OGG利用R进程解析队列消息为json格式数据，所述json格式数据包括A数据和B数据，步骤四：基于配置类HandlerProperties，根据线程1将所述A数据写入MongoDB集群A库a表，步骤五：基于配置类HandlerProperties2，根据线程2将所述B数据写入MongoDB集群B库b表；本发明实施例实现了OGG同步Mongo多库连接，提高了OGG同步Mongo多库连接的效率。

公开(公告)号：CN112181966A

公开(公告)日：2021-01-05

申请号：CN202011051463.2

申请日：2020-09-29

申请人： 银盛支付服务股份有限公司

发明人： 曾国江 ,  刘跃红 ,  夏菊平 ,  李雨峰

IPC分类号： G06F16/215 ,  G06F16/2457 ,  G06F9/54

摘要： 本发明实施例提供一种同步数据异常处理方法，包括以下步骤：步骤一：将从源端oracle的数据队列读取的数据同步推送至Kafka集群；步骤二：当MongoDB出现异常时，将所有异常数据的主键保存至第一MongoDB集群具有日期字段的临时表中；步骤三：对所述具有日期字段的临时表的异常数据进行聚合统计，得到异常数据总量；步骤四：对所述第一MongoDB集群的所有异常数据进行修复；本发明实施例便于记录所有异常数据，用于后续分析且提高了处理异常数据的效率。