本申请公开了一种模型训练系统以及模型训练中梯度聚合的方法，应用于人工智能artificial intelligence,AI)技术领域。该模型训练系统中的至少两个训练节点形成环状传输路径。在梯度聚合中，环上的各训练节点在梯度聚合前只需要确定自身的第一算子的第一梯度输出，就可以执行梯度聚合。不需要向中心节点发送该第一梯度，由该中心节点统一执行聚合。也不需要在聚合前向环状传输路径上作为中心节点的一个训练节点报告第一梯度已就绪，在接收到该中心节点返回的聚合指令后才能开始执行梯度聚合。可以有效的减少各训练节点与中心节点之间交互产生的通信开销。