-
公开(公告)号:CN104636348B
公开(公告)日:2018-02-27
申请号:CN201310550347.9
申请日:2013-11-08
申请人: 中国银联股份有限公司
IPC分类号: G06F17/30
摘要: 本发明提供一种数据处理系统中均衡负载的方法,包括针对第一类对象中的每一个对象,统计预定时段内与其有关的数据的数据量;根据所统计的数据量及已知的数据库信息,生成第一数据分发基准,第一数据分发基准意在将与第一类对象有关的数据均分在多个数据库内且意在将与第一类对象中的同一对象有关的数据设置在同一数据库中;在即将到来的数据处理过程中,基于第一分发基准分发数据,并至少将相关信息发送给应用,以便应用依据据其获取数据;在预定时段以后的数据处理中,实时统计数据量,据此对数据分发基准进行修正。还提供相应的均衡负载的系统。根据本发明的方法及系统可将数据均分在多个数据库中,减少单个数据库的负荷。
-
公开(公告)号:CN105335448A
公开(公告)日:2016-02-17
申请号:CN201410401058.7
申请日:2014-08-15
申请人: 中国银联股份有限公司
IPC分类号: G06F17/30
摘要: 本发明提出了基于分布式环境的数据存储及处理系统,其包括数据库管理服务器、应用节点管理服务器、多个数据库、全量数据库以及多个应用节点,其中,所述数据库管理服务器接收来自数据源的数据,并基于所述数据的属性和数据切分表将所述数据存储到全量数据库以及多个数据库中的至少一个中,其中,所述数据切分表包含数据的属性与用于存储具有该属性的数据的目标数据库的映射关系。本发明所公开的基于分布式环境的数据存储及处理系统能够自动地进行节点故障处理以及负载均衡并且具有较高的可扩展性。
-
公开(公告)号:CN117076111A
公开(公告)日:2023-11-17
申请号:CN202311022392.7
申请日:2023-08-14
申请人: 中国银联股份有限公司
发明人: 张工厂
摘要: 本申请公开了一种编译方法、装置、设备及计算机可读存储介质。其中,该方法包括:获取编译任务和多个节点各自对应的可用计算资源,多个节点包括第一节点,编译任务包括多个模块;基于多个节点各自对应的可用计算资源,将编译任务分配给多个节点,得到多个子编译任务;基于与第一节点对应的第一可用计算资源,并发编译与第一节点对应的第一子编译任务中的模块,得到第一子编译结果;获取多个第二节点分别对应的第二子编译结果,第二子编译结果为第二节点对其对应的第二子编译任务中的模块进行并发编译得到的编译结果;根据第一子编译结果和多个第二子编译结果确定与编译任务对应的编译结果。根据本申请实施例的编译方法,能够提高整体编译效率。
-
公开(公告)号:CN115858468A
公开(公告)日:2023-03-28
申请号:CN202211507973.5
申请日:2022-11-25
申请人: 中国银联股份有限公司
IPC分类号: G06F16/16 , G06F16/172 , G06F16/13 , G06Q40/04
摘要: 本申请公开了一种场次文件生成方法、装置、设备及介质,读取交易信息之后,首先根据交易信息的机构代码、交易代码和交易渠道等第一交易参数,确定出交易信息对应的交易子文件、校正子文件和目标场次文件,然后根据交易特征信息,判断交易信息的终态是否变化,在终态未变化时,将交易信息中的交易数据写入交易子文件,如果交易信息的终态变化,获取终态的交易数据并写入校正子文件,最后对于各个进程产生的子文件,将相同机构相同文件类型的交易子文件和校正子文件进行合并写入对应的目标场次文件。本申请的场次文件生成方法既可以适用于终态不变的交易,也可适用于终态变化的交易,适用范围更广。
-
公开(公告)号:CN103678314B
公开(公告)日:2017-07-25
申请号:CN201210320078.2
申请日:2012-09-03
申请人: 中国银联股份有限公司
IPC分类号: G06F17/30
摘要: 本发明提出了基于关联规则提取的海量数据处理系统、设备和方法。其中,所述系统包括关联规则信息提取装置、关联参数信息记录表存储装置、数据处理服务器、第一数据库、第二数据库和参数表存储装置,所述关联规则信息提取装置周期性地从所述第一数据库读取当前周期的数据记录,并基于所读取出的当前周期的数据记录和所述多个参数表及其之间的关联规则执行统计分析操作以获得关联参数信息记录表。本发明所公开的基于关联规则提取的海量数据处理系统、设备和方法既能够使参数表的记录数较少又能够使系统具有高的参数解析性能。
-
公开(公告)号:CN103577480A
公开(公告)日:2014-02-12
申请号:CN201210277733.0
申请日:2012-08-07
申请人: 中国银联股份有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30442
摘要: 本发明提供一种参数划分系统及其方法、一种业务处理系统及其方法。该参数划分系统包括生产环境数据库、频繁参数学习模块、频繁参数数据库、参数装载模块和系统参数数据库,所述生产环境数据库存储有当日业务数据,所述系统参数数据库存储有巨量的系统参数,其中所述频繁参数学习模块根据所述生产数据库中的当日业务数据生成频繁参数并将所述频繁参数写入所述频繁参数数据库,所述参数装载模块根据所述系统参数数据库和所述频繁参数数据库生成一级参数缓存和二级参数缓存。利用本发明,可以对参数进行划分,另外还可以提高搜索效率。
-
公开(公告)号:CN112817919B
公开(公告)日:2024-05-17
申请号:CN202110111921.5
申请日:2021-01-27
申请人: 中国银联股份有限公司
摘要: 本申请提供了一种数据合并方法、装置及计算机可读存储介质,其中该方法包括:分别标注每份待处理数据自身多个维度的属性标签;根据数据特征规则和每份待处理数据自身的至少两个属性标签,分别对对应的待处理数据标注特征标签,其中,所述数据特征规则规定多个属性标签的组合与特征标签的映射关系;在至少一个数据合并场次,根据数据合并规则和所述待处理数据的特征标签以及至少一个属性标签,对所述待处理数据进行合并,其中,所述数据合并规则规定属性标签与特征标签的组合与数据合并场次的映射关系,在单个时间周期内存在多个数据合并场次。利用上述方法,能够提高数据合并的时效和灵活性。
-
公开(公告)号:CN105787041B
公开(公告)日:2019-08-13
申请号:CN201610106195.7
申请日:2016-02-26
申请人: 中国银联股份有限公司
发明人: 张工厂
IPC分类号: G06F16/215 , G06Q40/02
摘要: 本发明涉及基于数据特征码的大文件比对方法及其比对系统。本发明的方法包括下述步骤:特征码提取比对步骤,对大文件提取数据特征码,按照所述数据特征码生成特征码文件,比对所述特征码文件是否一致;文件拆分步骤,在所述特征码文件的比对结果为一致的情况下,基于上述特征码文件将所述大文件进行拆分以生成拆分后的N个子文件;子文件比对步骤,并发对所述N个子文件进行比对;以及结果合并步骤,将所述子文件比对步骤的比对结果进行合并。根据本发明,能够提高数据处理效率,对资源要求不高,即使在配置较低的机器上也能正常运行。
-
公开(公告)号:CN104636348A
公开(公告)日:2015-05-20
申请号:CN201310550347.9
申请日:2013-11-08
申请人: 中国银联股份有限公司
IPC分类号: G06F17/30
摘要: 本发明提供一种数据处理系统中均衡负载的方法,包括针对第一类对象中的每一个对象,统计预定时段内与其有关的数据的数据量;根据所统计的数据量及已知的数据库信息,生成第一数据分发基准,第一数据分发基准意在将与第一类对象有关的数据均分在多个数据库内且意在将与第一类对象中的同一对象有关的数据设置在同一数据库中;在即将到来的数据处理过程中,基于第一分发基准分发数据,并至少将相关信息发送给应用,以便应用依据据其获取数据;在预定时段以后的数据处理中,实时统计数据量,据此对数据分发基准进行修正。还提供相应的均衡负载的系统。根据本发明的方法及系统可将数据均分在多个数据库中,减少单个数据库的负荷。
-
公开(公告)号:CN103678314A
公开(公告)日:2014-03-26
申请号:CN201210320078.2
申请日:2012-09-03
申请人: 中国银联股份有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30575
摘要: 本发明提出了基于关联规则提取的海量数据处理系统、设备和方法。其中,所述系统包括关联规则信息提取装置、关联参数信息记录表存储装置、数据处理服务器、第一数据库、第二数据库和参数表存储装置,所述关联规则信息提取装置周期性地从所述第一数据库读取当前周期的数据记录,并基于所读取出的当前周期的数据记录和所述多个参数表及其之间的关联规则执行统计分析操作以获得关联参数信息记录表。本发明所公开的基于关联规则提取的海量数据处理系统、设备和方法既能够使参数表的记录数较少又能够使系统具有高的参数解析性能。
-
-
-
-
-
-
-
-
-