本公开公开了模型训练方法、装置、电子设备和计算机可读存储介质，涉及人工智能领域，尤其涉及深度学习领域和人工智能芯片领域。具体实现方案为：通过一个计算单元对一个训练数据集执行前向计算操作序列以及反向计算操作序列中包括的第一反向计算操作，以基于第一反向计算操作确定第一计算结果和模型的第一梯度；至少基于第一梯度，确定第一同步梯度；基于所述第一计算结果对所述一个训练数据集执行所述反向计算操作序列中包括的第二反向计算操作，以基于所述第二反向计算操作至少确定所述模型的第二梯度；至少基于第二梯度，确定第二同步梯度；以及至少基于第一同步梯度和第二同步梯度更新模型的参数。以此方式，实现了高效准确的并行训练。