-
公开(公告)号：CN111984715A
公开(公告)日：2020-11-24
申请号：CN202010838910.2
申请日：2020-08-19
申请人： 银盛支付服务股份有限公司
IPC分类号： G06F16/25 , G06F16/27 , G06F16/2458
摘要： 本发明实施例提供一种异构数据同步处理方法，包括以下步骤：步骤一：将第一服务器的源端Oracle数据库主表对应的数据变化信息以及从表对应的数据变化信息存放至队列文件；步骤二：利用传输进程将所述第一服务器的所述队列文件通过TCP/IP传送至第二服务器对应的目标系统；步骤三：利用复制进程从所述第二服务器对应的目标系统的所述队列文件中读取数据变化信息；步骤四：通过复制进程配置文件指定的程序处理所述数据变化信息，并同步保存至所述第二服务器的目标数据库。本发明实施例源数据库与目标数据库的数据同步且保持亚秒级的数据延迟，同时提高查询效率。
-
公开(公告)号：CN111930533A
公开(公告)日：2020-11-13
申请号：CN202010738075.5
申请日：2020-07-28
申请人： 银盛支付服务股份有限公司
IPC分类号： G06F9/54
摘要： 本发明提供了一种基于kafka的生产消费同一数据的有序处理方法及系统，该方法包括kafka生产端有序推送的步骤和kafka消费端有序消费的步骤，其中，kafka生产端有序推送的步骤包括：S1、多个应用端按事务提交消息到Oracle数据库，OGG同步程序监控Oracle数据库的消息变化，将监控到的消息队列，按事务分配OGG同步程序上的不同进程处理；S2、重写OGG的处理逻辑，得到业务主键对应的partition分区数N；S3、重写发送的自定义分区，将同一业务主键计算的N值发送到对应的第N个partition分区中；S4、同一个OGG线程处理同一个事务，一个事务中的数据发送到固定的partition分区上；本发明的有益效果是：能够确保相同的业务主键有序推送，消费端有序消费，确保数据被顺序消费。
-
公开(公告)号：CN112231112A
公开(公告)日：2021-01-15
申请号：CN202010898986.4
申请日：2020-08-31
申请人： 银盛支付服务股份有限公司
IPC分类号： G06F9/54
摘要： 本发明实施例提供了一种基于dubbo异步调用方法，包括以下步骤：步骤一：消费端向服务端同时发送多个异步调用请求；步骤二：所述服务端接收来自所述消费端同时发送的多个异步调用请求；步骤三：所述服务端基于接收的多个异步调用请求，所述服务端对多个异步调用请求进行响应；步骤四：所述服务端将响应结果发送至所述消费端。本发明实施例提高了通过dubbo异步调用减少线程开销，不需要创建过多的线程，且dubbo异步调用可以有效减小响应时间。
-
公开(公告)号：CN112182087A
公开(公告)日：2021-01-05
申请号：CN202011062257.1
申请日：2020-09-30
申请人： 银盛支付服务股份有限公司
摘要： 本发明实施例提供一种OGG同步实现Mongo多库连接方法，包括以下步骤：步骤一：应用系统将目标数据写入Oracle数据库，步骤二：消息中转OGG监控Oracle数据库中变化的数据，步骤三：消费OGG利用R进程解析队列消息为json格式数据，所述json格式数据包括A数据和B数据，步骤四：基于配置类HandlerProperties，根据线程1将所述A数据写入MongoDB集群A库a表，步骤五：基于配置类HandlerProperties2，根据线程2将所述B数据写入MongoDB集群B库b表；本发明实施例实现了OGG同步Mongo多库连接，提高了OGG同步Mongo多库连接的效率。
-
公开(公告)号：CN112181966A
公开(公告)日：2021-01-05
申请号：CN202011051463.2
申请日：2020-09-29
申请人： 银盛支付服务股份有限公司
IPC分类号： G06F16/215 , G06F16/2457 , G06F9/54
摘要： 本发明实施例提供一种同步数据异常处理方法，包括以下步骤：步骤一：将从源端oracle的数据队列读取的数据同步推送至Kafka集群；步骤二：当MongoDB出现异常时，将所有异常数据的主键保存至第一MongoDB集群具有日期字段的临时表中；步骤三：对所述具有日期字段的临时表的异常数据进行聚合统计，得到异常数据总量；步骤四：对所述第一MongoDB集群的所有异常数据进行修复；本发明实施例便于记录所有异常数据，用于后续分析且提高了处理异常数据的效率。
-
公开(公告)号：CN112698961A
公开(公告)日：2021-04-23
申请号：CN202011620419.9
申请日：2020-12-31
申请人： 银盛支付服务股份有限公司
IPC分类号： G06F9/52
摘要： 本发明公开了一种redis分布式锁在kafka分布式程序中的使用方法，涉及数据处理技术领域；该方法包括以下的步骤：S10、部署多节点分布式程序，分布式程序同时从kafka集群上拉取队列文件消费；S20、定时任务定时启动，在redis中用设置SETNX命令做分布式锁；S30、多节点同时设置SETNX分布式锁，当返回值为1时，即设置SETNX分布式锁成功，抢锁成功后，进行后续的任务的执行；S40、多节点共同用SETNX命令设置相同key时，由redis内存机制保证，仅其中最早设置的节点返回值为1，其余节点设置SETNX的返回值为0，则跳过结束定时任务；S50、抢锁成功的节点在执行任务后，释放锁，等待下次定时任务的启动，进行重新抢锁；本发明的有益效果是：通入引入redis中的SETNX命令，保证锁的唯一性。
-
公开(公告)号：CN111930538A
公开(公告)日：2020-11-13
申请号：CN202010760097.1
申请日：2020-07-31
申请人： 银盛支付服务股份有限公司
摘要： 本发明公开了一种基于kafka集群的生产与消费的方法，涉及信息处理技术领域；该方法包括以下的步骤：S1、消息提交规则的设置；S2、对消息自动重试规则进行设置；S3、主题topic的副本数设置，对主题topic的副本数进行设置，使其大于或等于3；S4、对消息写入副本的数量进行设置，保证主题topic的副本数大于消息写入副本的数量；S5、确保消息消费完成后再提交偏移量Offset；S6、多服务器的线程设置，通过统计多种数据主题topic的分区数partition，采用下列公式计算：P/n＝concurrency，其中P为总的分区数partition的数据，n为服务器的数量，concurrency为线程数；本发明的有益效果是：杜绝了单一服务器不稳定导致数据出现波动的情况，解决数据一致性及单点故障问题。
-
-
-
-
-
-
搜索结果
7 条记录 (耗时 0.027 秒)
