本发明属于分布式机器学习系统优化的技术领域，涉及一种分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质。该方法包括：构建包含#imgabs0#个节点和单个参数服务器的分布式学习系统，节点为诚实节点和恶意节点；基于诚实节点从其局部数据集选取的数据样本，计算并修正数据样本的局部梯度，以迭代优化本地梯度差异；引入动量项，将修正后的局部梯度与上一迭代轮次的动量向量结合，再将得到的当前迭代轮次的动量向量归一化为单位动量向量发送给参数服务器，得到局部聚合结果；对局部聚合结果进行全局聚合，以迭代优化全局梯度差异。本发明解决了由于本地梯度差异和全局梯度差异而制约系统在面对恶意节点和攻击时的鲁棒性表现的问题。