消息去重方法、装置、计算机设备、存储介质和程序产品

    公开(公告)号:CN116881233A

    公开(公告)日:2023-10-13

    申请号:CN202310716521.6

    申请日:2023-06-15

    IPC分类号: G06F16/215 H04L67/10

    摘要: 本申请涉及一种消息去重方法、装置、计算机设备、存储介质和程序产品。上述方法包括:在多个计算节点执行目标作业的过程中,针对各计算节点,若目标作业中出现异常作业步,则生成计算节点的作业步操作消息;作业步操作消息用于对异常作业步进行操作;确定与计算节点对应的通讯节点,将各计算节点的作业步操作消息发送至与计算节点对应的通讯节点;通讯节点包括多个计算节点中的至少一个计算节点,且一个通讯节点与多个计算节点之间存在对应关系;通过通讯节点对作业步操作消息进行去重,生成中间作业步操作消息。采用本方法能够针对作业调度系统进行消息去重。

    作业处理方法、装置、计算机设备、存储介质和程序产品

    公开(公告)号:CN116820758A

    公开(公告)日:2023-09-29

    申请号:CN202310720778.9

    申请日:2023-06-16

    IPC分类号: G06F9/50 G06F9/48

    摘要: 本申请涉及一种作业处理方法、装置、计算机设备、存储介质和程序产品。所述方法包括:根据待处理作业的作业信息,从服务器集群对应的多个初始队列中确定运行所述待处理作业的目标队列;各所述初始队列为对所述服务器集群中的各服务器进行划分得到的;根据所述目标队列对应的服务器信息和所述作业信息,从资源池中确定运行所述待处理作业所需的目标资源;所述资源池中包括所述服务器集群中各服务器对应的资源;利用所述目标资源运行所述待处理作业。采用本方法能够对集群中的计算资源进行灵活管理。

    一种资源分配方法、装置、电子设备及存储介质

    公开(公告)号:CN115098269A

    公开(公告)日:2022-09-23

    申请号:CN202210883204.9

    申请日:2022-07-26

    IPC分类号: G06F9/50

    摘要: 本发明实施例公开了一种资源分配方法、装置、电子设备及存储介质。该方法包括获取预先为目标作业分配的目标计算节点和每个目标计算节点的逻辑处理器需求数量;确定每个目标计算节点中的每个非统一内存访问NUMA节点的内存量和逻辑处理器数量的映射关系;根据每个NUMA节点的映射关系、剩余内存量和空闲逻辑处理器数量确定对应NUMA节点的优先级;根据优先级和目标作业对于每个目标计算节点的逻辑处理器需求数量确定目标NUMA节点,分配目标NUMA节点的设定数量的空闲逻辑处理器给目标作业,实现了基于NUMA结构的负载均衡进行资源分配,减少了因跨NUMA节点访问内存而导致内存访问速度降低的情况发生,提高了作业运行速度。

    作业调度方法、系统、装置、计算机设备和存储介质

    公开(公告)号:CN113590289A

    公开(公告)日:2021-11-02

    申请号:CN202110869517.4

    申请日:2021-07-30

    IPC分类号: G06F9/48

    摘要: 本申请涉及一种作业调度方法、系统、装置、计算机设备和存储介质。该方法包括:SLURM调度系统根据各作业队列的优先级、各作业队列中待调度作业的优先级进行调度,在作业调度过程中,若当前作业队列中存在调度失败的作业,则将调度失败的作业转移至第一目标作业队列中,根据当前作业队列中剩余待调度作业的优先级,对当前作业队列中的作业进行调度。其中,第一目标作业队列的优先级次于当前作业队列。在本方法中,SLURM调度系统将调度失败的高优先级作业及时的转移到低优先级的队列中,有效地保证本级队列内低优先级作业被及时调度,避免了由于高优先级作业调度失败导致低优先级作业无法调度处于饥饿状态的问题,提高了SLURM调度系统的吞吐量和健壮性。

    作业调度方法、装置、计算机设备及可读存储介质

    公开(公告)号:CN113467915A

    公开(公告)日:2021-10-01

    申请号:CN202110788421.5

    申请日:2021-07-13

    IPC分类号: G06F9/48

    摘要: 本申请实施例提供一种作业调度方法、装置、计算机设备及可读存储介质。该方法包括:根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子;利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大的作业时长;根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级,基于调度优先级调度目标作业。能够基于作业时长实现作业调度,通过引入作业时长提高了作业调度的合理性以及准确性。

    虚拟进程拓扑方法、装置、计算机设备和存储介质

    公开(公告)号:CN113590361A

    公开(公告)日:2021-11-02

    申请号:CN202110898907.4

    申请日:2021-08-04

    IPC分类号: G06F9/54

    摘要: 本申请涉及一种虚拟进程拓扑方法、装置、计算机设备和存储介质。所述方法包括:获取待处理任务的进程数目以及进程标识;基于各进程间的数据传输关系,根据进程数目和进程标识,建立进程标识的初始拓扑结构;为初始拓扑结构中的进程标识添加传输方向标签,得到进程标识的最终拓扑结构;最终拓扑结构用于确定进程间的数据传输关系和传输方向。采用本方法能够防止进程间数据传输的拥堵和混乱,提高任务处理成功率。