基于端口带宽预留模式的多任务协同流量调度系统与方法

    公开(公告)号:CN117560331A

    公开(公告)日:2024-02-13

    申请号:CN202311453851.7

    申请日:2023-11-03

    申请人: 之江实验室

    摘要: 本发明公开了一种基于端口带宽预留模式的多任务协同流量调度系统与方法,在多用户多任务场景下,获取协同流量调度仿真任务参数和仿真任务服务质量要求,根据各任务的体量、特点和服务要求制定两级带宽资源分配策略,两级策略分别的作用域分别是作业任务级资源分配和作业流量级资源分配。通过SDN(Software Defined Network,软件定义网络)交换机实现端到端的带宽资源预留,从而保障不同任务执行过程中的带宽、时延、丢包率等达到服务要求,同时降低多任务整体用时,实现全局优化。

    一种基于DQN的分布式计算网络协同流量调度系统与方法

    公开(公告)号:CN115361301B

    公开(公告)日:2023-01-10

    申请号:CN202211226856.1

    申请日:2022-10-09

    申请人: 之江实验室

    摘要: 本发明公开了一种基于DQN的分布式计算网络协同流量调度系统与方法。所述方法包括:基于分布式计算任务信息和数据面可编程转发平台中端口队列的拥塞情况构建环境特征数据,基于DQN中的动作价值网络和目标网络构建并训练深度强化学习智能体,深度强化学习智能体输出抽象动作;通过策略映射器接收抽象动作,并将其映射成可执行协同流量调度策略;数据面可编程转发平台执行策略映射器生成的可执行协同流量调度策略,并更新端口队列的拥塞情况;通过策略增益器记录分布式计算任务完成时间作为深度强化学习智能体的实时奖励,根据前后两次分布式计算任务遵循可执行协同流量调度策略产生的耗时之差,对深度强化学习智能体进行迭代优化。

    基于收发包协同的集群计算流量仿真方法、系统与装置

    公开(公告)号:CN114465941A

    公开(公告)日:2022-05-10

    申请号:CN202210383737.0

    申请日:2022-04-13

    申请人: 之江实验室

    IPC分类号: H04L43/50 H04L41/14 H04L41/40

    摘要: 本发明公开了一种基于收发包协同的集群计算流量仿真方法、系统与装置。本发明采用有向无环图对集群计算的计算过程和通信过程进行建模,可由用户按需定义计算阶段和通信阶段的数据特征,同时本系统支持在用户设定的约束条件下批量生成实验样本,包括有向无环图及其通信特征的生成。此外,本发明基于发包器和收包器的协同机制,定义流量传输协议,除生成符合数据特征的流量数据外,还可以实现动态的仿真任务调度,在保证实验效率的同时,更加真实的模拟了集群计算流量在网络中的传输过程。

    一种基于时间迭代与负反馈机制的多模裁决系统

    公开(公告)号:CN111385299A

    公开(公告)日:2020-07-07

    申请号:CN202010147962.5

    申请日:2020-03-05

    申请人: 之江实验室

    IPC分类号: H04L29/06

    摘要: 本发明公开了一种基于时间迭代与负反馈机制的多模裁决系统,所述多模裁决系统包括:异构池单元、多模裁决器和负反馈单元;所述异构池单元含有3个以上异构SDN控制器;在每一个SDN控制层中,运用异构SDN控制器对输入请求同时进行处理,并将单位时间内各SDN控制器的输出结果集合提交至多模裁决器;所述多模裁决器对所述输出结果集合的流表中的信息分布进行一致性裁决,并将裁决结果下发至交换机;所述负反馈单元在每一次裁决后,根据所述裁决结果对所对应的异构SDN控制器的置信度进行调整,实现异构池中的异构SDN控制器的动态选取,提高了该系统的安全防御能力。

    一种面向网络协同流量的路由调度方法与系统

    公开(公告)号:CN117221126B

    公开(公告)日:2024-02-13

    申请号:CN202311487370.8

    申请日:2023-11-09

    申请人: 之江实验室

    摘要: 本发明公开了一种面向网络协同流量的路由调度方法与系统,首先将Coflow子流的路由调度问题建模成整数规划问题,通过近似算法求解得到各个子流的路由及带宽分配,然后考虑Coflow并发情况下的剩余可用带宽情况,对Coflow带宽分配策略进行更新。本方法是一个在线的Coflow路由调度方法,可以在不需要任何Coflow先验知识的情况下,实现Coflow的即时路由和带宽分配。相比于传统的Coflow调度工作,本发明从数据中心网络的实际出发,结合Coflow的路由和带宽分配设计高效合理的调度策略,本发明产生的调度策略更准确实用,且可用于线上实时场景,实现数据中心网络中协同流量的高效

    一种基于严格优先级的协同流量调度数值模拟方法与系统

    公开(公告)号:CN115951989B

    公开(公告)日:2023-06-20

    申请号:CN202310247633.1

    申请日:2023-03-15

    申请人: 之江实验室

    摘要: 本发明公开了一种基于严格优先级的协同流量调度数值模拟方法与系统,包括以下步骤:采集分布式计算任务的实时执行状态数据、计算阶段用时估测值;基于严格优先级模拟并存储软件可定义交换机出端口中的流量传输队列;配置无前置依赖任务列表,模拟分布式计算环境中各个计算节点当前在执行的计算任务处理过程,存储待执行的计算任务信息和/或正在执行的计算任务信息;基于分布式计算任务的实时执行状态数据和计算阶段用时估测值,查找符合无前置计算约束条件的计算任务和传输任务;将无前置计算约束条件的计算任务和传输任务分别添加到无前置依赖任务列表和基于严格优先级的传输任务队列中。

    一种流量拥塞前置的分布式计算流量仿真系统与方法

    公开(公告)号:CN115996197A

    公开(公告)日:2023-04-21

    申请号:CN202310259202.7

    申请日:2023-03-17

    申请人: 之江实验室

    摘要: 本发明公开了一种流量拥塞前置的分布式计算流量仿真系统与方法,包括:发收包终端组件,接收并处理仿真系统参数,得到分布式计算任务的依赖关系矩阵以及计算阶段耗时向量,选择监听端口;协同流量传输任务线程构建组件,用于在分布式计算任务开始时和任一协同流量传输结束时,构建一计算模拟线程,在线程被唤醒后获取流量传输策略以创建协同流量传输任务线程;协同流量任务管理器,通过协同流量传输任务线程池完成协同流量任务的管理;环境监听组件,用于监听端口并接收各种报文;数据面可编程交换机组件,基于报警阈值和任务优先级进行拥塞预警并配置网络资源。本发明在降低丢包率的同时还将网络资源优先分配给较高优先级的任务和流量。