本发明涉及一种神经网络模型训练系统和方法，所述系统包括协调设备和预设数量的计算设备；所述协调设备用于按神经网络模型的层对各所述计算设备进行同步控制；各所述计算设备用于在协调设备按神经网络模型的层的同步控制下，根据输入到神经网络模型的训练样本，按照神经网络模型的训练顺序，处理神经网络模型中相应层中被划分到各计算设备的节点，将处理节点所生成的数据发送给模型存储设备或者与本设备节点相连接的下一层的节点所在的计算设备，直至对输入的训练样本训练结束。本发明提供的神经网络模型训练系统和方法，解决了单个物理设备的局限性导致限制了神经网络模型规模的问题。