一种作业任务的执行方法、装置、电子设备、存储介质

    公开(公告)号:CN110609745A

    公开(公告)日:2019-12-24

    申请号:CN201810621461.9

    申请日:2018-06-15

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种作业任务的执行方法、装置、电子设备、存储介质,用以解决集群资源利用率低的问题。方法包括:获取待执行的第一作业任务针对每种资源的理论需求量;获取到的针对每种资源的理论需求量为根据在预设时间段内集群执行与第一作业任务的类型相同的其他作业任务时,针对每种资源的实际使用量确定的;判断当前保存的集群针对每种资源的剩余量是否不小于获取的对应种资源的理论需求量;若均为是,将第一作业任务及其针对每种资源的理论需求量发送给集群,使集群采用每种资源的理论需求量执行第一作业任务。因为根据相同类型的其他作业任务对资源的实际使用情况,为该第一作业任务确定资源量,在一定程度上提高了集群资源的利用率。

    数据流计算异常恢复方法、装置、设备及存储介质

    公开(公告)号:CN117009139A

    公开(公告)日:2023-11-07

    申请号:CN202310884253.9

    申请日:2023-07-18

    IPC分类号: G06F11/14 G06F16/2455

    摘要: 本发明涉及数据处理技术领域,尤其涉及一种数据流计算异常恢复方法、装置、设备及存储介质。本发明通过确定流计算异常时的异常算子和相邻算子,并调用异常算子对应的目标算子,以目标算子代替异常算子建立与相邻算子之间的连接,保证整体数据处理可执行性,同时通过相邻数字读取预写式日志中的重放点数据,下发重放点数据至目标算子,从而目标算子可以根据重放点数据进行流计算,完成异常流计算结果的重新计算,而重新计算所有的数据,避免了现有技术中基于flink的实时数据流计算异常时,重新计算的效率较低的技术问题,减少流计算异常恢复的周期。

    一种基于分支的数据处理方法、装置、设备和存储介质

    公开(公告)号:CN116644412A

    公开(公告)日:2023-08-25

    申请号:CN202211738550.4

    申请日:2022-12-30

    摘要: 本申请公开了一种基于分支的数据处理方法、装置、电子设备和存储介质,该方法包括:获取数据集中待操作的分支的分支名称;其中,对数据集的基线数据执行一个或多个改变后,得到的不同的数据集的分支被存储在对应的数据沙箱中,数据集的分支包括待操作的分支;根据分支名称,在数据集的分支清单中定位目标分支对象;从目标分支对象中获取待操作的分支对应的快照标识;对快照标识所指的快照执行数据操作。本申请同时还公开了一种基于分支的数据处理装置、电子设备和存储介质。本申请提供的基于分支的数据处理方法,针对不同数据沙箱之间的操作相互隔离,且数据沙箱无需复制现有的数据集,从而可以控制数据存储成本。

    业务执行方法、装置、设备及存储介质

    公开(公告)号:CN115840634A

    公开(公告)日:2023-03-24

    申请号:CN202310160242.6

    申请日:2023-02-24

    IPC分类号: G06F9/48 G06F16/21

    摘要: 本公开实施例公开了一种业务执行方法、装置、设备及存储介质,其中,所述方法包括:从预设服务网络中的数据生产端获取待处理业务;服务网络包括数据中心集群和至少两个数据生产端,待处理业务携带业务参数;基于业务参数,确定待处理业务的业务类型;确定与业务类型匹配的初始执行模式;在初始执行模式表征为整体执行的情况下,基于业务参数,对待处理业务进行优化处理,得到优化结果;基于优化结果,确定待处理业务的目标执行模式。本公开实施例可以降低数据生产端业务执行时延,提升业务成功率。

    多存储引擎的数据备份方法、装置、电子设备及存储介质

    公开(公告)号:CN115408200A

    公开(公告)日:2022-11-29

    申请号:CN202110587723.6

    申请日:2021-05-27

    摘要: 本发明提供一种多存储引擎的数据备份方法、装置、电子设备及存储介质,包括:创建目标数据库的基准备份集;在任一存储引擎中启动数据增量捕捉获取增量数据;由增量数据与相关的元数据信息,构成增量文件;将增量文件与基准备份集关联,生成时间点备份集。本发明提供的数据备份方法及装置,仅需要在多个存储引擎中选择记录一个增量修改,并保存为独立于每个存储引擎的增量文件,同时添加事务ID等元数据信息,使得该增量文件中能够包含需要的数据和信息,以便能够对数据库系统中的多种存储引擎进行增量备份及恢复,有效地解决了目前多存储引擎备份存在的实现复杂度高、增量数据冗余的问题,实现了每个存储引擎均能完整支持增量备份和时间点恢复。