任务调度方法、任务调度装置、计算机设备和存储介质

    公开(公告)号:CN117707730A

    公开(公告)日:2024-03-15

    申请号:CN202311701352.5

    申请日:2023-12-11

    发明人: 李章菁 田丰

    IPC分类号: G06F9/48 G06F9/54

    摘要: 本申请公开一种任务调度方法、任务调度装置、计算机设备和非易失性计算机可读存储介质,包括:获取与主系统连接的多个子系统的任务;根据所述任务的信息,对所述任务进行编排,以生成工作流;根据所述工作流控制各个所述子系统执行对应的所述任务,使得可以通过主系统,实现联结各个子系统;并且通过主系统编排后生成的工作流,可以对任务的执行顺序、执行任务的子系统等进行合理规划和管理,以实现对多个子系统的多个任务进行统一调度,避免任务在执行过程中出错,减少对业务的影响,有效提高工作效率,降低人工成本和操作难度等。

    应用于数据汇聚的数据表结构同步方法及装置

    公开(公告)号:CN117763041A

    公开(公告)日:2024-03-26

    申请号:CN202311793981.5

    申请日:2023-12-22

    IPC分类号: G06F16/27 G06F16/22

    摘要: 本申请公开了一种应用于数据汇聚的数据表结构同步方法及装置,属于计算机技术领域。所述应用于数据汇聚的数据表结构同步方法,包括:在源数据表的第一变化数据为源数据表的结构变化对应的数据的情况下,基于第一变化数据,获取变化信息;在第二变化数据已同步至目标数据表的情况下,基于变化信息,变更目标数据表的结构,暂停数据汇聚任务并生成目标异常信息;在检测到目标异常信息的情况下,重新启动数据汇聚任务。本申请提供的应用于数据汇聚的数据表结构同步方法及装置,能实现当源数据表的结构发生变更后,无须人工调整任务,减少人工沟通带来的成本,无须人工干预,能降低人力成本,能提高数据表结构同步的效率,能用于实际的数据汇聚。

    数据加工系统的数据加工方法及数据加工系统

    公开(公告)号:CN117708800A

    公开(公告)日:2024-03-15

    申请号:CN202311703877.2

    申请日:2023-12-12

    IPC分类号: G06F21/53 G06F21/62

    摘要: 本申请公开了一种数据加工系统的数据加工方法及数据加工系统,属于数据处理技术领域。方法包括:通过调度平台将数据加工脚本发送至数据加工脚本对应的Python沙箱;通过Python沙箱执行数据加工脚本,基于Python沙箱的JDBC,从数据库读取数据加工脚本对应的待加工数据进行加工,得到数据加工信息;通过Python沙箱将数据加工信息发送至调度平台。数据加工系统的数据加工方法通过在Python沙箱中运行数据加工脚本,实现安全管控和资源隔离,保障了数据加工过程的高效、安全性和稳定性,保护了数据的隐私和机密性,通过JDBC,能够从不同类型的数据库中调取待加工数据。

    应用于数据汇聚的数据表切分方法及装置

    公开(公告)号:CN117762938A

    公开(公告)日:2024-03-26

    申请号:CN202311794124.7

    申请日:2023-12-22

    摘要: 本申请公开了一种应用于数据汇聚的数据表切分方法及装置,属于计算机技术领域。应用于数据汇聚的数据表切分方法,包括:判断数据汇聚任务中的源数据表中的切分字段的数据类型;在切分字段的数据类型不是数值型的情况下,基于用于读取源数据表的线程的数量,对源数据表中的目标数据进行均匀切分。本申请提供的应用于数据汇聚的数据表切分方法及装置,通过在切分字段的数据类型不是数值型的情况下,基于用于读取源数据表的线程的数量,对源数据表中的目标数据进行均匀切分,能实现在数据表中的切分字段的数据类型不是数值型的情况下,对数据表进行高效的切分,能实现针对数据表中的切分字段的数据类型不是数值型的情况,也可以进行高性能的读取。

    任务控制方法、任务控制装置、计算机设备和存储介质

    公开(公告)号:CN117762591A

    公开(公告)日:2024-03-26

    申请号:CN202311787834.7

    申请日:2023-12-22

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本申请公开一种任务控制方法、任务控制装置、计算机设备和非易失性计算机可读存储介质。方法包括:计算目标功能层级的多个任务的复杂度参数,各个任务的复杂度参数分别根据各个任务的规模信息和难度信息中至少一者确定,目标功能层级为预设的多个功能层级中的任一层级;根据复杂度参数和各个服务器的可用资源,将各个任务分配到对应的服务器;根据各个任务的规模信息分别计算各个任务的预估完成时长,并根据各个任务的预估完成时长,确定各个服务器中被分配的任务的执行顺序。通过依次将复杂度最高的任务,分配到可用资源最多的服务器,从而充分利用服务器资源,提升各个任务的执行效率。

    数据处理方法、服务器及计算机可读存储介质

    公开(公告)号:CN117632235A

    公开(公告)日:2024-03-01

    申请号:CN202311630222.7

    申请日:2023-11-30

    IPC分类号: G06F8/71 G06F8/75 G06F21/62

    摘要: 本申请公开一种数据处理方法,方法包括:响应于对开发环境内脱敏数据的数据加工功能编辑指令,生成数据加工模型和配置信息。根据配置信息配置生产环境,并发布数据加工模型至生产环境,以完成脱敏数据相对应的未脱敏数据的处理。如此,本申请使得用户可对脱敏数据的数据加工模型进行开发,实现真实数据不可见情况下的数据加工模型开发,数据安全性得以提升。本申请可根据血缘关系信息配置生产环境,在数据加工模型发布至生产环境后,数据加工模型能处理与脱敏数据相对应的未脱敏数据,保障数据加工模型的稳定运行,避免用户手动配置生产环境,人工介入环节得以减少。

    任务控制方法、任务控制装置、计算机设备和存储介质

    公开(公告)号:CN117762591B

    公开(公告)日:2024-09-03

    申请号:CN202311787834.7

    申请日:2023-12-22

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本申请公开一种任务控制方法、任务控制装置、计算机设备和非易失性计算机可读存储介质。方法包括:计算目标功能层级的多个任务的复杂度参数,各个任务的复杂度参数分别根据各个任务的规模信息和难度信息中至少一者确定,目标功能层级为预设的多个功能层级中的任一层级;根据复杂度参数和各个服务器的可用资源,将各个任务分配到对应的服务器;根据各个任务的规模信息分别计算各个任务的预估完成时长,并根据各个任务的预估完成时长,确定各个服务器中被分配的任务的执行顺序。通过依次将复杂度最高的任务,分配到可用资源最多的服务器,从而充分利用服务器资源,提升各个任务的执行效率。