-
公开(公告)号:CN110609745A
公开(公告)日:2019-12-24
申请号:CN201810621461.9
申请日:2018-06-15
申请人: 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F9/50
摘要: 本发明公开了一种作业任务的执行方法、装置、电子设备、存储介质,用以解决集群资源利用率低的问题。方法包括:获取待执行的第一作业任务针对每种资源的理论需求量;获取到的针对每种资源的理论需求量为根据在预设时间段内集群执行与第一作业任务的类型相同的其他作业任务时,针对每种资源的实际使用量确定的;判断当前保存的集群针对每种资源的剩余量是否不小于获取的对应种资源的理论需求量;若均为是,将第一作业任务及其针对每种资源的理论需求量发送给集群,使集群采用每种资源的理论需求量执行第一作业任务。因为根据相同类型的其他作业任务对资源的实际使用情况,为该第一作业任务确定资源量,在一定程度上提高了集群资源的利用率。
-
公开(公告)号:CN111158962B
公开(公告)日:2023-10-13
申请号:CN201811320107.9
申请日:2018-11-07
申请人: 中移信息技术有限公司 , 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F11/20 , H04L67/02 , H04L67/1004 , H04L67/1008 , H04L61/4511 , H04L67/60
摘要: 本发明公开了一种异地容灾方法、装置、系统、电子设备及存储介质,用以解决现有技术中数据中心切换不灵活,并且建设成本较高的问题。所述方法包括:主节点接收从节点发送的第一服务不可用信息,所述第一服务不可用信息是从节点发生故障时发送的,其中所述主节点和所述从节点均位于第一数据中心;主节点判断故障从节点的数量是否大于设定的数量阈值;如果是,则所述主节点向DNS服务器发送调用所述DNS服务器的HTTP接口的请求,使DNS服务器将进行服务的数据中心切换为第二数据中心,所述第二数据中心与所述第一数据中心位于不同区域。
-
公开(公告)号:CN111158962A
公开(公告)日:2020-05-15
申请号:CN201811320107.9
申请日:2018-11-07
申请人: 中移信息技术有限公司 , 中移(苏州)软件技术有限公司 , 中国移动通信集团有限公司
摘要: 本发明公开了一种异地容灾方法、装置、系统、电子设备及存储介质,用以解决现有技术中数据中心切换不灵活,并且建设成本较高的问题。所述方法包括:主节点接收从节点发送的第一服务不可用信息,所述第一服务不可用信息是从节点发生故障时发送的,其中所述主节点和所述从节点均位于第一数据中心;主节点判断故障从节点的数量是否大于设定的数量阈值;如果是,则所述主节点向DNS服务器发送调用所述DNS服务器的HTTP接口的请求,使DNS服务器将进行服务的数据中心切换为第二数据中心,所述第二数据中心与所述第一数据中心位于不同区域。
-
公开(公告)号:CN117009139A
公开(公告)日:2023-11-07
申请号:CN202310884253.9
申请日:2023-07-18
申请人: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F11/14 , G06F16/2455
摘要: 本发明涉及数据处理技术领域,尤其涉及一种数据流计算异常恢复方法、装置、设备及存储介质。本发明通过确定流计算异常时的异常算子和相邻算子,并调用异常算子对应的目标算子,以目标算子代替异常算子建立与相邻算子之间的连接,保证整体数据处理可执行性,同时通过相邻数字读取预写式日志中的重放点数据,下发重放点数据至目标算子,从而目标算子可以根据重放点数据进行流计算,完成异常流计算结果的重新计算,而重新计算所有的数据,避免了现有技术中基于flink的实时数据流计算异常时,重新计算的效率较低的技术问题,减少流计算异常恢复的周期。
-
公开(公告)号:CN116644412A
公开(公告)日:2023-08-25
申请号:CN202211738550.4
申请日:2022-12-30
申请人: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F21/53 , G06F16/176 , G06F16/23
摘要: 本申请公开了一种基于分支的数据处理方法、装置、电子设备和存储介质,该方法包括:获取数据集中待操作的分支的分支名称;其中,对数据集的基线数据执行一个或多个改变后,得到的不同的数据集的分支被存储在对应的数据沙箱中,数据集的分支包括待操作的分支;根据分支名称,在数据集的分支清单中定位目标分支对象;从目标分支对象中获取待操作的分支对应的快照标识;对快照标识所指的快照执行数据操作。本申请同时还公开了一种基于分支的数据处理装置、电子设备和存储介质。本申请提供的基于分支的数据处理方法,针对不同数据沙箱之间的操作相互隔离,且数据沙箱无需复制现有的数据集,从而可以控制数据存储成本。
-
公开(公告)号:CN115840634A
公开(公告)日:2023-03-24
申请号:CN202310160242.6
申请日:2023-02-24
申请人: 中移动信息技术有限公司 , 中国移动通信集团有限公司
摘要: 本公开实施例公开了一种业务执行方法、装置、设备及存储介质,其中,所述方法包括:从预设服务网络中的数据生产端获取待处理业务;服务网络包括数据中心集群和至少两个数据生产端,待处理业务携带业务参数;基于业务参数,确定待处理业务的业务类型;确定与业务类型匹配的初始执行模式;在初始执行模式表征为整体执行的情况下,基于业务参数,对待处理业务进行优化处理,得到优化结果;基于优化结果,确定待处理业务的目标执行模式。本公开实施例可以降低数据生产端业务执行时延,提升业务成功率。
-
公开(公告)号:CN115408431A
公开(公告)日:2022-11-29
申请号:CN202110606750.3
申请日:2021-05-27
申请人: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F16/2455 , G06F16/27
摘要: 本发明提供一种数据访问方法、装置、电子设备和存储介质,其中方法包括:接收读数据请求;基于所述读数据请求,查询分布式数据库中的数据缓存;所述数据缓存保存在所述分布式数据库中当前处理所述读数据请求的主执行器中;若所述数据缓存命中,则返回所述数据缓存中命中的所述读数据请求对应的数据;否则,基于所述读数据请求,读取所述分布式数据库的存储子系统,并返回读取结果。本发明通过在分布式数据库的主执行器内部设置数据缓存,然后基于当前处理的读数据请求,查询该数据缓存,在数据缓存命中时,直接读取数据缓存中的相应数据,否则才访问存储子系统,可以避免跨网络读取操作和磁盘I/O操作,避免了磁盘的I/O开销和网络开销。
-
公开(公告)号:CN115408354A
公开(公告)日:2022-11-29
申请号:CN202110587746.7
申请日:2021-05-27
申请人: 中移信息技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F16/18 , G06F16/242 , G06F16/2455 , G06F16/2458 , G06F16/25 , G06F16/27
摘要: 本发明提供一种日志数据处理、配置方法、装置及存储介质,通过在接收到日志数据处理请求时,由于分布式数据库节点中的日志数据按照预设日志数据格式进行配置的,并数据结构包含的据预设日志字段和预设日志证据格式均是基于同一指定配置信息配置得到的,因此这能够实现快速地将读取到的指定日志数据配置到上述数据结构,得到结构化的日志数据。本发明技术方案由各分布式数据库节点完成日志数据结构化转换不需要中间处理框架,转换效率高,体验度更高。
-
公开(公告)号:CN115955402B
公开(公告)日:2023-08-01
申请号:CN202310239063.1
申请日:2023-03-14
申请人: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC分类号: H04L41/0894 , H04L41/0895 , H04L41/0823 , H04L41/14
摘要: 本申请提供了一种服务功能链确定方法、装置、设备、介质及产品,其中,方法包括:获取多个虚拟网络功能,以及多个物理节点,其中,多个虚拟网络功能具有第一预设执行顺序,每个虚拟网络功能在一个物理节点上实现;确定多种编排策略对应的多个回报值,每种编排策略用于指示每个虚拟网络功能对应的物理节点,回报值用于表征编排策略中各物理节点实现虚拟网络功能的执行成功率;将最大回报值对应的编排策略,作为多个虚拟网络功能的服务功能链编排。本申请实施例能够提高服务功能链编排的可靠性。
-
公开(公告)号:CN115408200A
公开(公告)日:2022-11-29
申请号:CN202110587723.6
申请日:2021-05-27
申请人: 中移信息技术有限公司 , 中国移动通信集团有限公司
IPC分类号: G06F11/14 , G06F16/11 , G06F16/17 , G06F16/172
摘要: 本发明提供一种多存储引擎的数据备份方法、装置、电子设备及存储介质,包括:创建目标数据库的基准备份集;在任一存储引擎中启动数据增量捕捉获取增量数据;由增量数据与相关的元数据信息,构成增量文件;将增量文件与基准备份集关联,生成时间点备份集。本发明提供的数据备份方法及装置,仅需要在多个存储引擎中选择记录一个增量修改,并保存为独立于每个存储引擎的增量文件,同时添加事务ID等元数据信息,使得该增量文件中能够包含需要的数据和信息,以便能够对数据库系统中的多种存储引擎进行增量备份及恢复,有效地解决了目前多存储引擎备份存在的实现复杂度高、增量数据冗余的问题,实现了每个存储引擎均能完整支持增量备份和时间点恢复。
-
-
-
-
-
-
-
-
-