本发明实施例公开了一种深度学习模型的分布式训练方法、装置、设备及存储介质。该方法包括：获取目标深度学习模型的TensorFlow训练代码；确定所述TensorFlow训练代码的目标逻辑及封装类型；根据与所述目标逻辑及封装类型匹配的处理策略对所述TensorFlow训练代码进行调整；运行调整后的TensorFlow训练代码，以实现对所述目标深度学习模型的Horovod分布式训练。上述技术方案在Tensorflow代码背景下，自动实现深度学习模型的Horovod分布式训练计算的技术效果。