本发明公开了神经网络分布式训练系统、方法、装置、计算单元及介质。该系统包括：神经网络芯片和主机；神经网络芯片包括多个计算单元，各计算单元上分别设置有内存屏障；各计算单元，用于根据数据分片进行前向传播计算，得到单机代价函数；根据单机代价函数计算与单机代价函数匹配的梯度分区；在满足内存屏障释放时机时，将梯度分区发送至主机；主机，用于对接收到的全部计算单元的梯度分区进行全局梯度规约，并将得到的全局梯度反馈至各计算单元；各计算单元，还用于根据接收的全局梯度，更新单机计算参数。通过本发明的技术方案，能够减小神经网络芯片和主机之间的梯度状态同步时间，提高了分布式训练的效率。