公开(公告)号：CN112632115A

公开(公告)日：2021-04-09

申请号：CN202010758085.5

申请日：2020-07-31

申请人： 银盛支付服务股份有限公司

发明人： 何青青 ,  刘跃红 ,  黄文珠 ,  蒙亚妹

IPC分类号： G06F16/2453 ,  G06F16/2455 ,  G06F16/2458

摘要： 本发明实施例提供一种基于BI系统的数据查询方法，包括以下步骤：客户端从服务器获取第一数据库与第二数据库，根据所述第一数据库与所述第二数据库，所述客户端从所述第一数据库获取第一数据表，从所述第二数据库获取第二数据表，且所述第一数据库与所述第二数据库具有关联关系；根据所述第一数据表与所述第二数据表，获取第一目标数据字段与第二目标数据字段；所述服务器根据关联的条件字段与查询字段，生成第一sql语句与第二sql语句；通过所述第一sql语句对所述第一数据库进行查询，通过所述第二sql语句对所述第二数据库进行查询。本发明实施例降低数据库压力,提高外部计算,从而提高了数据库关联查询的效率，进而提高用户体验。

公开(公告)号：CN112307063A

公开(公告)日：2021-02-02

申请号：CN202011111719.4

申请日：2020-10-16

申请人： 银盛支付服务股份有限公司

发明人： 管正爽 ,  刘跃红 ,  黄位友 ,  李柯

IPC分类号： G06F16/2455 ,  G06F16/2453 ,  G06F16/242 ,  G06F16/248 ,  G06F16/28 ,  H04L12/58 ,  H04L29/08

摘要： 本发明公开了一种元数据核对各项平台数据质量的方法及系统，涉及数据处理技术领域，包括oracle数据库、临时存储单元、元数据管理平台以及比较单元，所述oracle数据库、临时存储单元、元数据管理平台以及比较单元之间电性连接，元数据管理平台用于元数据页面配置数据源或者编写sql，所述oracle数据库用于收集oracle‑sql、hive‑sql、mongo‑sql的各项处理过的数据量，所述临时存储单元用于临时存储hive‑sql和mongo‑sql处理后的数据量，然后计算sql后发送至oracle数据库，所述对比单元用于比较数据库的数据值和各项金额，页面展示后发送给企业微信，本发明可以利用presto作为数据查询引擎，提高了即席查询效率并能将sql解析成对应的mongodb查询语句。

公开(公告)号：CN112182087A

公开(公告)日：2021-01-05

申请号：CN202011062257.1

申请日：2020-09-30

申请人： 银盛支付服务股份有限公司

发明人： 夏菊平 ,  刘跃红 ,  李雨峰 ,  曾国江

IPC分类号： G06F16/25 ,  G06F16/27 ,  G06F9/54

摘要： 本发明实施例提供一种OGG同步实现Mongo多库连接方法，包括以下步骤：步骤一：应用系统将目标数据写入Oracle数据库，步骤二：消息中转OGG监控Oracle数据库中变化的数据，步骤三：消费OGG利用R进程解析队列消息为json格式数据，所述json格式数据包括A数据和B数据，步骤四：基于配置类HandlerProperties，根据线程1将所述A数据写入MongoDB集群A库a表，步骤五：基于配置类HandlerProperties2，根据线程2将所述B数据写入MongoDB集群B库b表；本发明实施例实现了OGG同步Mongo多库连接，提高了OGG同步Mongo多库连接的效率。

公开(公告)号：CN112181966A

公开(公告)日：2021-01-05

申请号：CN202011051463.2

申请日：2020-09-29

申请人： 银盛支付服务股份有限公司

发明人： 曾国江 ,  刘跃红 ,  夏菊平 ,  李雨峰

IPC分类号： G06F16/215 ,  G06F16/2457 ,  G06F9/54

摘要： 本发明实施例提供一种同步数据异常处理方法，包括以下步骤：步骤一：将从源端oracle的数据队列读取的数据同步推送至Kafka集群；步骤二：当MongoDB出现异常时，将所有异常数据的主键保存至第一MongoDB集群具有日期字段的临时表中；步骤三：对所述具有日期字段的临时表的异常数据进行聚合统计，得到异常数据总量；步骤四：对所述第一MongoDB集群的所有异常数据进行修复；本发明实施例便于记录所有异常数据，用于后续分析且提高了处理异常数据的效率。

公开(公告)号：CN112181773A

公开(公告)日：2021-01-05

申请号：CN202011051495.2

申请日：2020-09-29

申请人： 银盛支付服务股份有限公司

发明人： 余丽玲 ,  刘跃红 ,  管正爽 ,  郭倩

IPC分类号： G06F11/30

摘要： 本发明揭示了一种自动化收集模块日志的方法，涉及互联网技术领域；该方法包括以下的步骤：S1、自定义注解，通过自定义注解，使用反向代理实现对目标模块横切逻辑的植入，以实现日志的搜集功能；S2、切面类的自定义，通过切面类拦截记录时间以及用户的操作，当调用目标模块时，切面类自动获取目标模块的参数、返回值、描述以及调用方传递的信息；S3、信息的解析，根据日志需求，解析调用方传递的信息；S4、根据日志需求形成字符串，字符串的类型包括但不限于jsonObject、String；S5、日志的发送，调用kafka集群的api，将生成的日志发送到kafka集群的topic上；本发明的有益效果是：通过该方法日志统一发送到kafka对应的topic上，方便后期对日志的统一管理。

公开(公告)号：CN111930889A

公开(公告)日：2020-11-13

申请号：CN202010702673.7

申请日：2020-07-21

申请人： 银盛支付服务股份有限公司

发明人： 管正爽 ,  刘跃红 ,  余丽玲 ,  黄位友

IPC分类号： G06F16/33

摘要： 本发明公开了一种基于非结构化数据库大范围日期跨度的快速查询方法，该方法包括以下的步骤：S1、数据表排序键的设置，在数据表设计之初，对数据表排序键进行设置，该数据表排序键至少包括有交易日期和多位随机数；S2、日期参数的拆分，通过后台服务器对日期范围按日遍历处理，在达到返回一页的情况下的返回；S3、大数据量的分页处理，根据步骤S1中的数据表排序键，获取当前页对应数据表排序键字段的最大值max与最小值min，通过比较方式进行分页；本发明的有益效果是：能够降低集群负载，加强集群稳定性。

公开(公告)号：CN112632068B

公开(公告)日：2024-09-13

申请号：CN202011529950.5

申请日：2020-12-22

申请人： 银盛支付服务股份有限公司

发明人： 余丽玲 ,  刘跃红 ,  管正爽 ,  周小润

IPC分类号： G06F16/22 ,  G06F16/23 ,  G06F16/215 ,  G06F16/24

摘要： 本发明公开了一种快速提供海量数据查询服务的解决方法，涉及数据查询技术领域；该方法包括以下的步骤：S1、创建TTL表；S2、在TTL表中增加数据去重更新的标识字段；S3、间隔设定的时间或者数据条数达到设定数量时触发同步增加数据操作；S4、将更新和删除的数据均转换成insert数据，并插入clickhouse中；S5、创建对应的视图，选取版本号最大的字段作为显示字段，过滤掉已经删除的记录；S6、根据业务需求修改TTL表保留数据的时长，根据版本号定时删除过期数据；本发明的有益效果是：可以实时查询更新的数据，并能根据需求返回所需的数据，解决更新触发前出现多条多余数据的问题。

公开(公告)号：CN111930812B

公开(公告)日：2024-05-03

申请号：CN202010707366.8

申请日：2020-07-20

申请人： 银盛支付服务股份有限公司

发明人： 余丽玲 ,  刘跃红 ,  管正爽 ,  曹浩

IPC分类号： G06F16/248

摘要： 本发明公开了一种基于flink的实时聚合报表方法、电子设备及可读存储介质，涉及大数据技术领域，该方法包括以下的步骤：S1、初始化报表数据；S2、实时同步数据库的明细数据；S3、日报表数据的实时处理；S4、月报表数据的实时处理；S5、年报表的实时处理；本发明的有益效果是：能够实时响应运营日、月、年报表数据请求，满足高并发场景使用。

公开(公告)号：CN112667662B

公开(公告)日：2022-11-08

申请号：CN202011564484.4

申请日：2020-12-25

申请人： 银盛支付服务股份有限公司

发明人： 郭倩 ,  管正爽 ,  刘跃红

IPC分类号： G06F16/242 ,  G06F16/2452 ,  G06F16/25 ,  G06F16/28

摘要： 本发明提供了一种基于json键值的解析sql和nosql的通用方法，包括：S1、将sql和nosql中的数据库定义统一的json key，设置各个键值的使用方法，键值即key值，封装属性值；S2、规范使用方式，统一接口的参数口径，参数统一为com.alibaba.fastjson.JSONArray和自定义的ys.bigdata.basic.pojo.Pager两个类；S3、合并两个集群的数据，查询数据后返回。实现接口应用层统一参数查询语法，数据分页做到nosql和sql统一，使冷数据和热数据能够融合，无感处理返回给调用方，适用于monogdb的nosql到所有sql的转换查询。

公开(公告)号：CN112347372A

公开(公告)日：2021-02-09

申请号：CN202011194881.7

申请日：2020-10-30

申请人： 银盛支付服务股份有限公司

发明人： 刘跃红 ,  曹浩

IPC分类号： G06F16/9536 ,  G06F16/2458 ,  G06F16/25 ,  G06K9/62 ,  G06Q30/02 ,  G06Q50/00

摘要： 本发明公开了一种金融企业基于用户画像方案业务推广的方法，涉及金融技术领域；该方法包括以下的步骤：S1、用户多个维度信息的收集，依据现有的Hive数据仓库，收集用户多个维度的信息，实现画像数据的收集；S2、强相关性数据的筛选，从用户多个维度的信息中，筛选出同业务场景强相关性的数据；S3、对筛选的数据进行分类和标签化，设计数据的标签，对筛选的数据按标签进行定量分类，用于将复杂数据简易化，将交易数据定性进行归类，并融入商业分析的要求，对数据进行商业加工；S4、客户的筛选，按照业务需求进行筛选客户，实现场景变现；本发明的有益效果是：能够对客户进行精准的刻画，为金融服务提供数据依据支撑。