一种基于严格优先级的协同流量调度数值模拟方法与系统

    公开(公告)号:CN115951989A

    公开(公告)日:2023-04-11

    申请号:CN202310247633.1

    申请日:2023-03-15

    申请人: 之江实验室

    摘要: 本发明公开了一种基于严格优先级的协同流量调度数值模拟方法与系统,包括以下步骤:采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中。

    一种基于DQN的分布式计算网络协同流量调度系统与方法

    公开(公告)号:CN115361301B

    公开(公告)日:2023-01-10

    申请号:CN202211226856.1

    申请日:2022-10-09

    申请人: 之江实验室

    摘要: 本发明公开了一种基于DQN的分布式计算网络协同流量调度系统与方法。所述方法包括:基于分布式计算任务信息和数据面可编程转发平台中端口队列的拥塞情况构建环境特征数据,基于DQN中的动作价值网络和目标网络构建并训练深度强化学习智能体,深度强化学习智能体输出抽象动作;通过策略映射器接收抽象动作,并将其映射成可执行协同流量调度策略;数据面可编程转发平台执行策略映射器生成的可执行协同流量调度策略,并更新端口队列的拥塞情况;通过策略增益器记录分布式计算任务完成时间作为深度强化学习智能体的实时奖励,根据前后两次分布式计算任务遵循可执行协同流量调度策略产生的耗时之差,对深度强化学习智能体进行迭代优化。

    一种结合GNN和SAC模型的网络协同流量调度方法与系统

    公开(公告)号:CN116996443B

    公开(公告)日:2024-01-23

    申请号:CN202311238774.3

    申请日:2023-09-25

    申请人: 之江实验室

    摘要: 本发明公开了一种结合GNN和SAC模型的网络协同流量调度方法与系统,通过获取端口拥塞信息、通信和计算阶段信息,将计算和通信阶段信息、DAG拓扑信息作为输入,生成传输过程的表征向量;然后融合端口拥塞信息、通信和计算阶段信息、DAG拓扑信息和表征向量,生成状态表征向量;最后将状态表征向量作为SAC模型的输入,得到强化学习智能体的输出并映射为调度策略,得到整个调度任务的运行时间,作为奖励用于SAC模型的迭代优化。本发明中图神经网络和强化学习智能体的模型迭代能够及时根据环境的变化自适应地调整网络参数,并给出恰当的动作策略;本发明能使模型产生的调度策略更准确,从而实现数据中心网络中协同流量的高效调度。

    一种结合GNN和SAC模型的网络协同流量调度方法与系统

    公开(公告)号:CN116996443A

    公开(公告)日:2023-11-03

    申请号:CN202311238774.3

    申请日:2023-09-25

    申请人: 之江实验室

    摘要: 本发明公开了一种结合GNN和SAC模型的网络协同流量调度方法与系统,通过获取端口拥塞信息、通信和计算阶段信息,将计算和通信阶段信息、DAG拓扑信息作为输入,生成传输过程的表征向量;然后融合端口拥塞信息、通信和计算阶段信息、DAG拓扑信息和表征向量,生成状态表征向量;最后将状态表征向量作为SAC模型的输入,得到强化学习智能体的输出并映射为调度策略,得到整个调度任务的运行时间,作为奖励用于SAC模型的迭代优化。本发明中图神经网络和强化学习智能体的模型迭代能够及时根据环境的变化自适应地调整网络参数,并给出恰当的动作策略;本发明能使模型产生的调度策略更准确,从而实现数据中心网络中协同流量的高效调度。

    一种流量拥塞前置的分布式计算流量仿真系统与方法

    公开(公告)号:CN115996197B

    公开(公告)日:2023-06-16

    申请号:CN202310259202.7

    申请日:2023-03-17

    申请人: 之江实验室

    摘要: 本发明公开了一种流量拥塞前置的分布式计算流量仿真系统与方法,包括:发收包终端组件,接收并处理仿真系统参数,得到分布式计算任务的依赖关系矩阵以及计算阶段耗时向量,选择监听端口;协同流量传输任务线程构建组件,用于在分布式计算任务开始时和任一协同流量传输结束时,构建一计算模拟线程,在线程被唤醒后获取流量传输策略以创建协同流量传输任务线程;协同流量任务管理器,通过协同流量传输任务线程池完成协同流量任务的管理;环境监听组件,用于监听端口并接收各种报文;数据面可编程交换机组件,基于报警阈值和任务优先级进行拥塞预警并配置网络资源。本发明在降低丢包率的同时还将网络资源优先分配给较高优先级的任务和流量。

    一种基于严格优先级的协同流量调度数值模拟方法与系统

    公开(公告)号:CN115951989B

    公开(公告)日:2023-06-20

    申请号:CN202310247633.1

    申请日:2023-03-15

    申请人: 之江实验室

    摘要: 本发明公开了一种基于严格优先级的协同流量调度数值模拟方法与系统,包括以下步骤:采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中。

    一种流量拥塞前置的分布式计算流量仿真系统与方法

    公开(公告)号:CN115996197A

    公开(公告)日:2023-04-21

    申请号:CN202310259202.7

    申请日:2023-03-17

    申请人: 之江实验室

    摘要: 本发明公开了一种流量拥塞前置的分布式计算流量仿真系统与方法,包括:发收包终端组件,接收并处理仿真系统参数,得到分布式计算任务的依赖关系矩阵以及计算阶段耗时向量,选择监听端口;协同流量传输任务线程构建组件,用于在分布式计算任务开始时和任一协同流量传输结束时,构建一计算模拟线程,在线程被唤醒后获取流量传输策略以创建协同流量传输任务线程;协同流量任务管理器,通过协同流量传输任务线程池完成协同流量任务的管理;环境监听组件,用于监听端口并接收各种报文;数据面可编程交换机组件,基于报警阈值和任务优先级进行拥塞预警并配置网络资源。本发明在降低丢包率的同时还将网络资源优先分配给较高优先级的任务和流量。

    一种基于DQN的分布式计算网络协同流量调度系统与方法

    公开(公告)号:CN115361301A

    公开(公告)日:2022-11-18

    申请号:CN202211226856.1

    申请日:2022-10-09

    申请人: 之江实验室

    摘要: 本发明公开了一种基于DQN的分布式计算网络协同流量调度系统与方法。所述方法包括:基于分布式计算任务信息和数据面可编程转发平台中端口队列的拥塞情况构建环境特征数据,基于DQN中的动作价值网络和目标网络构建并训练深度强化学习智能体,深度强化学习智能体输出抽象动作;通过策略映射器接收抽象动作,并将其映射成可执行协同流量调度策略;数据面可编程转发平台执行策略映射器生成的可执行协同流量调度策略,并更新端口队列的拥塞情况;通过策略增益器记录分布式计算任务完成时间作为深度强化学习智能体的实时奖励,根据前后两次分布式计算任务遵循可执行协同流量调度策略产生的耗时之差,对深度强化学习智能体进行迭代优化。