一种大规模微服务智能多资源协同调度方法及系统

    公开(公告)号:CN115037749B

    公开(公告)日:2023-07-28

    申请号:CN202210644605.9

    申请日:2022-06-08

    摘要: 本发明涉及一种大规模微服务智能多资源协同调度方法及系统,包括:采集微服务资源使用信息与微服务运行时信息并进行数据预处理;对资源协同调度进行决策的性能感知的多层联动;对微服务进行资源调度的资源分配。通过自动的信息采集可以实时地感知微服务的资源使用和延迟性能等情况;在此基础上,利用多智能体深度强化学习方法可以捕获各个微服务之间的依赖关系,并根据工作负载的动态变化协同地对每个微服务所使用的多种资源进行弹性细粒度的调整。本发明可以在尽可能保障大规模微服务应用的尾延迟SLO的同时,降低微服务每个资源维度的资源冗余,进而提高整体资源利用率。

    资源高效与服务质量感知的推理服务系统自适应调度方法

    公开(公告)号:CN115129477A

    公开(公告)日:2022-09-30

    申请号:CN202210918942.2

    申请日:2022-08-01

    IPC分类号: G06F9/50 G06N20/00 G06N5/04

    摘要: 本发明公开了一种资源高效与服务质量感知的推理服务系统自适应调度方法,包括:深度学习模型自动选择模块利用协同过滤方法预测推理工作负载在不同深度学习模型上运行的推理性能;深度学习模型自动选择模块利用贪婪算法选择满足用户服务质量需求的最优深度学习模型,并将最优深度学习模型部署至容器中为推理服务系统中的推理工作负载服务;协同管理模块利用深度强化学习方法,根据推理工作负载的动态变化,协同地调整GPU资源分配和批量大小设置,本发明可根据用户的需求自动地选择深度学习模型,可根据推理工作负载的动态变化协同地调整GPU资源的分配和批量大小的设置。

    一种性能感知的大规模微服务智能多资源协同调度方法及系统

    公开(公告)号:CN115037749A

    公开(公告)日:2022-09-09

    申请号:CN202210644605.9

    申请日:2022-06-08

    摘要: 本发明涉及一种性能感知的大规模微服务智能多资源协同调度方法及系统,包括:采集微服务资源使用信息与微服务运行时信息并进行数据预处理;对资源协同调度进行决策的性能感知的多层联动;对微服务进行资源调度的资源分配。通过自动的信息采集可以实时地感知微服务的资源使用和延迟性能等情况;在此基础上,利用多智能体深度强化学习方法可以捕获各个微服务之间的依赖关系,并根据工作负载的动态变化协同地对每个微服务所使用的多种资源进行弹性细粒度的调整。本发明可以在尽可能保障大规模微服务应用的尾延迟SLO的同时,降低微服务每个资源维度的资源冗余,进而提高整体资源利用率。