一种图形处理器远程调用的双线程池执行方法和系统

    公开(公告)号:CN118277132A

    公开(公告)日:2024-07-02

    申请号:CN202410703257.7

    申请日:2024-06-03

    Inventor: 华剑峰 高翔

    Abstract: 本申请涉及一种图形处理器远程调用的双线程池执行方法和系统,其中,图形处理器远程调用的双线程池执行方法包括:所述远程调用前端发起远程调用API接口的第一请求报文,并在所述第一请求报文的报文头中注入所述API接口的状态标识;所述远程调用后端接收所述第一请求报文,解析所述第一请求报文的报文头获得所述API接口的状态标识;所述任务分发器根据所述API接口的状态标识,将所述API接口对应的任务分发至所述有状态线程池或所述无状态线程池中执行,本申请最大程度的保证图形处理器远程调用在远程调用框架层面的时延性能,同时又为图形处理器业务提供线程隔离、状态保持的能力,提高了图形处理器远程调用后端执行任务的效率。

    基于Kubernetes集群的非侵入式资源分配方法、装置和存储介质

    公开(公告)号:CN119961006A

    公开(公告)日:2025-05-09

    申请号:CN202510437547.6

    申请日:2025-04-09

    Abstract: 本申请涉及一种基于Kubernetes集群的非侵入式资源分配方法、装置和存储介质,其中,该基于Kubernetes集群的非侵入式资源分配方法包括:在K8s集群节点中,在接收到GPU资源设备插件的注册请求后,根据预设的配置信息,创建代理GPU资源设备插件的代理服务器;通过代理服务器对节点上的GPU资源进行分割,其中,节点上的GPU资源通过部署的代理服务获取得到。通过本申请,实现了在节点上对GPU资源的精细化管理,提高了资源的利用率。

    图形处理器算力配置方法、装置、计算机设备和存储介质

    公开(公告)号:CN117611425B

    公开(公告)日:2024-06-11

    申请号:CN202410067171.X

    申请日:2024-01-17

    Abstract: 本申请涉及一种图形处理器算力配置方法、装置、计算机设备和存储介质,通过在第一算力超出图形处理器的算力配额的情况下,根据历史算力数据,计算待处理任务的延迟执行概率,根据待处理任务的延迟执行概率决策是否延迟执行待处理任务,其中,第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量,历史算力数据包括多个采样时间中图形处理器进程的算力使用量,由于在可能超配的情况下并未直接延迟执行待处理任务,而是根据历史算力数据决策是否延迟执行待处理任务,保证了图形处理器的算力使用量能够稳定在算力配额附近,解决了图形处理器的算力资源利用率较低的问题,提高了图形处理器算力分配的准确度与稳定性。

    图形处理器算力配置方法、装置、计算机设备和存储介质

    公开(公告)号:CN117611425A

    公开(公告)日:2024-02-27

    申请号:CN202410067171.X

    申请日:2024-01-17

    Abstract: 本申请涉及一种图形处理器算力配置方法、装置、计算机设备和存储介质,通过在第一算力超出图形处理器的算力配额的情况下,根据历史算力数据,计算待处理任务的延迟执行概率,根据待处理任务的延迟执行概率决策是否延迟执行待处理任务,其中,第一算力包括图形处理器的当前实际算力使用量以及待处理任务执行所需的理论算力使用量,历史算力数据包括多个采样时间中图形处理器进程的算力使用量,由于在可能超配的情况下并未直接延迟执行待处理任务,而是根据历史算力数据决策是否延迟执行待处理任务,保证了图形处理器的算力使用量能够稳定在算力配额附近,解决了图形处理器的算力资源利用率较低的问题,提高了图形处理器算力分配的准确度与稳定性。

    多集群云计算系统及多集群作业分发方法

    公开(公告)号:CN116708454B

    公开(公告)日:2023-12-05

    申请号:CN202310962997.8

    申请日:2023-08-02

    Abstract: 本申请涉及一种多集群云计算系统及多集群作业分发方法,该系统包括控制集群和多个算力集群,算力集群包括一个或多个计算节点,控制集群包括:资源采集模块,用于采集各算力集群的资源分布信息和资源使用率;共享资源分配模块,用于基于共享策略,将各算力集群的算力资源配置为独占资源、共享资源和预留资源中的至少一种;作业分发决策模块,用于基于各算力集群的资源分布信息和资源使用率,确定各作业对应的目标算力集群;作业平衡模块,用于在作业对共享资源的占用满足共享策略的迁移条件的情况下,释放作业占用的共享资源,保持各算力集群资源的动态平衡,解决了多集群管控平台无法实现负载自动调整的问题。

    多集群云计算系统及多集群作业分发方法

    公开(公告)号:CN116708454A

    公开(公告)日:2023-09-05

    申请号:CN202310962997.8

    申请日:2023-08-02

    Abstract: 本申请涉及一种多集群云计算系统及多集群作业分发方法,该系统包括控制集群和多个算力集群,算力集群包括一个或多个计算节点,控制集群包括:资源采集模块,用于采集各算力集群的资源分布信息和资源使用率;共享资源分配模块,用于基于共享策略,将各算力集群的算力资源配置为独占资源、共享资源和预留资源中的至少一种;作业分发决策模块,用于基于各算力集群的资源分布信息和资源使用率,确定各作业对应的目标算力集群;作业平衡模块,用于在作业对共享资源的占用满足共享策略的迁移条件的情况下,释放作业占用的共享资源,保持各算力集群资源的动态平衡,解决了多集群管控平台无法实现负载自动调整的问题。

Patent Agency Ranking