-
公开(公告)号:CN115220900B
公开(公告)日:2022-12-13
申请号:CN202211138391.4
申请日:2022-09-19
申请人: 山东省计算中心(国家超级计算济南中心)
IPC分类号: G06F9/48 , G06F9/50 , G06F11/30 , G06F16/215 , G06K9/62
摘要: 本发明公开了一种基于作业功耗预测的节能调度方法及系统,涉及高性能计算数据中心节能领域。通过资源监控模块,功耗预测模块和作业调度模块三个模块实现了数据的监控和功耗的预测,进而根据预测结果实现了作业调度。在节能调度方法中基于机器学习对作业队列中的作业功耗进行预测,使得预测结果比传统的理论模型更加准确,根据预测结果对负载作业和负载机柜进行分类,将高负载作业和低负载作业以轮询的方式分别分配给高负载机柜和低负载机柜,可以保证HPC数据中心的整体负载均衡。在机柜内将服务器划分为高温服务器和低温服务器,将作业优先分配给低温服务器可以防止机柜内出现局部温度过高的情况,有效避免了热点的出现。
-
公开(公告)号:CN114816699A
公开(公告)日:2022-07-29
申请号:CN202210372549.8
申请日:2022-04-11
申请人: 山东省计算中心(国家超级计算济南中心)
摘要: 本发明公开了基于温度预测的数据中心作业调度方法及系统,包括:获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数;对获取的数据进行预处理,对于预处理后的数据进行特征筛选;基于训练后的机器学习模型和筛选得到的特征,预测出未来设定时间段内机柜的温度,选出温度最低的机柜;将待调度作业,在温度最低的机柜的若干个服务器中进行初始调度和优化调度,通过多次迭代,选出服务器与待调度作业之间的最佳映射方案;根据最佳映射方案实现待调度作业的调度。
-
公开(公告)号:CN114513530B
公开(公告)日:2022-08-19
申请号:CN202210407398.5
申请日:2022-04-19
申请人: 山东省计算中心(国家超级计算济南中心)
IPC分类号: H04L67/1097 , H04L67/568 , G06F3/06
摘要: 本发明属于记录载体的处理领域,提供了一种跨域存储空间双向供给方法和系统。该方法包括,位于至少两个域的应用、节点集群和存储系统,所述节点集群向上对接应用、向下对接存储系统,根据不同域中存储系统内用户的存储空间,构建存储池;依据配置信息关联的存储池,构建连接节点集群的分布式存储集群系统;其中,配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包;针对不同应用的访问请求,依据所述访问请求,以使所述应用通过节点集群访问分布式存储集群系统中的存储池。本发明可实现不同存储系统间的存储空间资源双向共享,可满足不同计算环境对不同的存储系统访问和数据处理。
-
公开(公告)号:CN114513530A
公开(公告)日:2022-05-17
申请号:CN202210407398.5
申请日:2022-04-19
申请人: 山东省计算中心(国家超级计算济南中心)
IPC分类号: H04L67/1097 , H04L67/568 , G06F3/06
摘要: 本发明属于记录载体的处理领域,提供了一种跨域存储空间双向供给方法和系统。该方法包括,位于至少两个域的应用、节点集群和存储系统,所述节点集群向上对接应用、向下对接存储系统,根据不同域中存储系统内用户的存储空间,构建存储池;依据配置信息关联的存储池,构建连接节点集群的分布式存储集群系统;其中,配置信息包括访问存储系统所需的认证信息、连接地址、适配信息、北向接口和开发包;针对不同应用的访问请求,依据所述访问请求,以使所述应用通过节点集群访问分布式存储集群系统中的存储池。本发明可实现不同存储系统间的存储空间资源双向共享,可满足不同计算环境对不同的存储系统访问和数据处理。
-
公开(公告)号:CN113535670A
公开(公告)日:2021-10-22
申请号:CN202110787216.7
申请日:2021-07-13
申请人: 山东省计算中心(国家超级计算济南中心)
IPC分类号: G06F16/188 , G06F16/174 , G06F16/13 , G06F16/172 , G06F9/455
摘要: 本发明涉及一种虚拟化资源镜像存储系统及其实现方法,包括FUSE文件系统、镜像重复数据删除系统;FUSE文件系统接收来自若干镜像服务的R/W请求,将读写信息发送给镜像重复数据删除系统处理,处理完成后,所述FUSE文件系统将数据存储到磁盘或从磁盘中读取数据。本发明实现了虚拟化资源镜像的高效存储,解决了虚拟机镜像与容器镜像统一存储的管理问题,并在一定程度上减轻了镜像数据日益增多导致的存储压力大等问题。
-
公开(公告)号:CN116069143A
公开(公告)日:2023-05-05
申请号:CN202310354094.1
申请日:2023-04-06
摘要: 本发明属于高性能计算数据中心节能领域,提供了一种基于作业相似性判断功耗预测的节能方法及系统,针对数据中心高昂的运营成本,采用了基于各指标信息和作业日志信息与目标作业计算节点对应的各指标信息和日志信息进行相似度判断,计算出每个作业与目标作业的相似度得分,将大于相似度得分阈值的作业作为功耗预测的训练数据;基于功耗预测的训练数据对功耗预测模型进行训练,采用训练后的功耗预测模型预测目标作业所在节点未来的功耗情况;根据目标作业所在节点的功耗情况,对目标作业所在节点进行升温或降温操作。可以减少HPC集群中热点的出现,同时降低HPC集群中的冷却能耗,实现了HPC集群中节能的目标。
-
公开(公告)号:CN115220900A
公开(公告)日:2022-10-21
申请号:CN202211138391.4
申请日:2022-09-19
申请人: 山东省计算中心(国家超级计算济南中心)
IPC分类号: G06F9/48 , G06F9/50 , G06F11/30 , G06F16/215 , G06K9/62
摘要: 本发明公开了一种基于作业功耗预测的节能调度方法及系统,涉及高性能计算数据中心节能领域。通过资源监控模块,功耗预测模块和作业调度模块三个模块实现了数据的监控和功耗的预测,进而根据预测结果实现了作业调度。在节能调度方法中基于机器学习对作业队列中的作业功耗进行预测,使得预测结果比传统的理论模型更加准确,根据预测结果对负载作业和负载机柜进行分类,将高负载作业和低负载作业以轮询的方式分别分配给高负载机柜和低负载机柜,可以保证HPC数据中心的整体负载均衡。在机柜内将服务器划分为高温服务器和低温服务器,将作业优先分配给低温服务器可以防止机柜内出现局部温度过高的情况,有效避免了热点的出现。
-
公开(公告)号:CN116069143B
公开(公告)日:2023-07-18
申请号:CN202310354094.1
申请日:2023-04-06
摘要: 本发明属于高性能计算数据中心节能领域,提供了一种基于作业相似性判断功耗预测的节能方法及系统,针对数据中心高昂的运营成本,采用了基于各指标信息和作业日志信息与目标作业计算节点对应的各指标信息和日志信息进行相似度判断,计算出每个作业与目标作业的相似度得分,将大于相似度得分阈值的作业作为功耗预测的训练数据;基于功耗预测的训练数据对功耗预测模型进行训练,采用训练后的功耗预测模型预测目标作业所在节点未来的功耗情况;根据目标作业所在节点的功耗情况,对目标作业所在节点进行升温或降温操作。可以减少HPC集群中热点的出现,同时降低HPC集群中的冷却能耗,实现了HPC集群中节能的目标。
-
公开(公告)号:CN113535670B
公开(公告)日:2022-11-11
申请号:CN202110787216.7
申请日:2021-07-13
申请人: 山东省计算中心(国家超级计算济南中心)
IPC分类号: G06F16/188 , G06F16/174 , G06F16/13 , G06F16/172 , G06F9/455
摘要: 本发明涉及一种虚拟化资源镜像存储系统及其实现方法,包括FUSE文件系统、镜像重复数据删除系统;FUSE文件系统接收来自若干镜像服务的R/W请求,将读写信息发送给镜像重复数据删除系统处理,处理完成后,所述FUSE文件系统将数据存储到磁盘或从磁盘中读取数据。本发明实现了虚拟化资源镜像的高效存储,解决了虚拟机镜像与容器镜像统一存储的管理问题,并在一定程度上减轻了镜像数据日益增多导致的存储压力大等问题。
-
-
-
-
-
-
-
-