-
公开(公告)号:CN115118723A
公开(公告)日:2022-09-27
申请号:CN202210606302.8
申请日:2022-05-31
申请人: 中科曙光国际信息产业有限公司 , 青岛中科曙光科技服务有限公司
IPC分类号: H04L67/10 , H04L67/1095 , H04L67/1097 , H04L67/63
摘要: 本申请涉及一种集群调度系统。所述集群调度系统包括slurm集群和K8s集群,所述集群调度系统中包括多个混合计算节点,所述混合计算节点归属于所述slurm集群和所述K8s集群,但同一时间任一所述混合计算节点仅供所述slurm集群和所述K8s集群中的一个集群调度。采用本申请提供的集群调度系统可以提高任务执行效率。
-
公开(公告)号:CN111949389B
公开(公告)日:2022-02-18
申请号:CN202010802073.8
申请日:2020-08-11
申请人: 曙光信息产业(北京)有限公司 , 曙光信息产业股份有限公司 , 中科曙光国际信息产业有限公司 , 中科曙光信息产业成都有限公司
摘要: 本申请涉及一种基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质,包括:通过Slurm作业调度系统采集作业运行信息和集群节点信息。通过预设插件和TDengine时序数据库之间的连接关系,调用预设插件将所采集到的作业运行信息和集群节点信息分别存储至TDengine时序数据库中。其中,TDengine时序数据库为一款高性能的数据库,其数据处理速度明显比其他通用数据库较快。另外,通过本方法只需要采用同一个预设插件就可以将作业运行信息和集群节点信息这两种信息分别存储至TDengine时序数据库中。降低了系统开发和维护的复杂度和运营成本,进而提高Slurm作业调度系统的信息采集性能。
-
公开(公告)号:CN113590289A
公开(公告)日:2021-11-02
申请号:CN202110869517.4
申请日:2021-07-30
申请人: 中科曙光国际信息产业有限公司
IPC分类号: G06F9/48
摘要: 本申请涉及一种作业调度方法、系统、装置、计算机设备和存储介质。该方法包括:SLURM调度系统根据各作业队列的优先级、各作业队列中待调度作业的优先级进行调度,在作业调度过程中,若当前作业队列中存在调度失败的作业,则将调度失败的作业转移至第一目标作业队列中,根据当前作业队列中剩余待调度作业的优先级,对当前作业队列中的作业进行调度。其中,第一目标作业队列的优先级次于当前作业队列。在本方法中,SLURM调度系统将调度失败的高优先级作业及时的转移到低优先级的队列中,有效地保证本级队列内低优先级作业被及时调度,避免了由于高优先级作业调度失败导致低优先级作业无法调度处于饥饿状态的问题,提高了SLURM调度系统的吞吐量和健壮性。
-
公开(公告)号:CN113467915A
公开(公告)日:2021-10-01
申请号:CN202110788421.5
申请日:2021-07-13
申请人: 中科曙光国际信息产业有限公司
IPC分类号: G06F9/48
摘要: 本申请实施例提供一种作业调度方法、装置、计算机设备及可读存储介质。该方法包括:根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子;利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大的作业时长;根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级,基于调度优先级调度目标作业。能够基于作业时长实现作业调度,通过引入作业时长提高了作业调度的合理性以及准确性。
-
公开(公告)号:CN115098269A
公开(公告)日:2022-09-23
申请号:CN202210883204.9
申请日:2022-07-26
申请人: 中科曙光国际信息产业有限公司 , 青岛中科曙光科技服务有限公司
IPC分类号: G06F9/50
摘要: 本发明实施例公开了一种资源分配方法、装置、电子设备及存储介质。该方法包括获取预先为目标作业分配的目标计算节点和每个目标计算节点的逻辑处理器需求数量;确定每个目标计算节点中的每个非统一内存访问NUMA节点的内存量和逻辑处理器数量的映射关系;根据每个NUMA节点的映射关系、剩余内存量和空闲逻辑处理器数量确定对应NUMA节点的优先级;根据优先级和目标作业对于每个目标计算节点的逻辑处理器需求数量确定目标NUMA节点,分配目标NUMA节点的设定数量的空闲逻辑处理器给目标作业,实现了基于NUMA结构的负载均衡进行资源分配,减少了因跨NUMA节点访问内存而导致内存访问速度降低的情况发生,提高了作业运行速度。
-
公开(公告)号:CN111949389A
公开(公告)日:2020-11-17
申请号:CN202010802073.8
申请日:2020-08-11
申请人: 曙光信息产业(北京)有限公司 , 无锡城市云计算中心有限公司 , 曙光信息产业股份有限公司 , 中科曙光国际信息产业有限公司
摘要: 本申请涉及一种基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质,包括:通过Slurm作业调度系统采集作业运行信息和集群节点信息。通过预设插件和TDengine时序数据库之间的连接关系,调用预设插件将所采集到的作业运行信息和集群节点信息分别存储至TDengine时序数据库中。其中,TDengine时序数据库为一款高性能的数据库,其数据处理速度明显比其他通用数据库较快。另外,通过本方法只需要采用同一个预设插件就可以将作业运行信息和集群节点信息这两种信息分别存储至TDengine时序数据库中。降低了系统开发和维护的复杂度和运营成本,进而提高Slurm作业调度系统的信息采集性能。
-
公开(公告)号:CN116881233A
公开(公告)日:2023-10-13
申请号:CN202310716521.6
申请日:2023-06-15
申请人: 中科曙光国际信息产业有限公司 , 青岛中科曙光科技服务有限公司
IPC分类号: G06F16/215 , H04L67/10
摘要: 本申请涉及一种消息去重方法、装置、计算机设备、存储介质和程序产品。上述方法包括:在多个计算节点执行目标作业的过程中,针对各计算节点,若目标作业中出现异常作业步,则生成计算节点的作业步操作消息;作业步操作消息用于对异常作业步进行操作;确定与计算节点对应的通讯节点,将各计算节点的作业步操作消息发送至与计算节点对应的通讯节点;通讯节点包括多个计算节点中的至少一个计算节点,且一个通讯节点与多个计算节点之间存在对应关系;通过通讯节点对作业步操作消息进行去重,生成中间作业步操作消息。采用本方法能够针对作业调度系统进行消息去重。
-
公开(公告)号:CN116820758A
公开(公告)日:2023-09-29
申请号:CN202310720778.9
申请日:2023-06-16
申请人: 中科曙光国际信息产业有限公司 , 青岛中科曙光科技服务有限公司
摘要: 本申请涉及一种作业处理方法、装置、计算机设备、存储介质和程序产品。所述方法包括:根据待处理作业的作业信息,从服务器集群对应的多个初始队列中确定运行所述待处理作业的目标队列;各所述初始队列为对所述服务器集群中的各服务器进行划分得到的;根据所述目标队列对应的服务器信息和所述作业信息,从资源池中确定运行所述待处理作业所需的目标资源;所述资源池中包括所述服务器集群中各服务器对应的资源;利用所述目标资源运行所述待处理作业。采用本方法能够对集群中的计算资源进行灵活管理。
-
公开(公告)号:CN112052144B
公开(公告)日:2023-05-26
申请号:CN202010970577.0
申请日:2020-09-15
申请人: 曙光信息产业(北京)有限公司 , 曙光信息产业股份有限公司 , 中科曙光国际信息产业有限公司 , 中科曙光信息产业成都有限公司
IPC分类号: G06F11/30
摘要: 本申请提供一种信息管理方法、装置、电子设备及存储介质,所述方法包括:在作业运行期间,获取运行该作业所使用的资源信息;将所述资源信息存储至数据库。通过在作业运行期间获取该作业所使用的资源信息,并将所述资源信息存储至数据库,继而能在该作业运行结束后,保证用户能够查询到该作业运行期间所使用的资源信息,不受时间的约束,提高用户体验。
-
公开(公告)号:CN113590361A
公开(公告)日:2021-11-02
申请号:CN202110898907.4
申请日:2021-08-04
申请人: 中科曙光国际信息产业有限公司
IPC分类号: G06F9/54
摘要: 本申请涉及一种虚拟进程拓扑方法、装置、计算机设备和存储介质。所述方法包括:获取待处理任务的进程数目以及进程标识;基于各进程间的数据传输关系,根据进程数目和进程标识,建立进程标识的初始拓扑结构;为初始拓扑结构中的进程标识添加传输方向标签,得到进程标识的最终拓扑结构;最终拓扑结构用于确定进程间的数据传输关系和传输方向。采用本方法能够防止进程间数据传输的拥堵和混乱,提高任务处理成功率。
-
-
-
-
-
-
-
-
-