本发明公开了一种分布式训练系统、神经网络模型训练方法、设备和介质，涉及计算机技术领域，该系统包括控制器和多个计算节点；控制器用于获取目标神经网络模型和训练数据集，并向多个计算节点发送对应的节点训练模型和节点训练数据集；目标神经网络模型为初始的神经网络模型去除第i个神经网络层与第i+1个神经网络层之间链接重要程度最低的第一数量个链接、去除神经元重要程度最低的第二数量个神经元以及对应的链接得到神经网络模型；计算节点用于基于接收到的节点训练数据集和接收到的节点训练模型的当前模型参数计算局部信息，并基于全局信息更新节点训练模型的模型参数，实现节点训练模型的迭代训练，得到训练完成的节点训练模型。