本发明公开了一种基于多主节点主从分布式架构的容错方法及系统。所述方法包括：S10、为工作节点分配计算任务并设计容忍落后者问题的编码计算方案；S20、工作节点完成本地计算并根据一定策略将计算结果传输至各个主节点；S30、主节点接收来自各个工作节点的计算结果并根据解码方案生成中间值。通过多个主节点与工作节点合作完成迭代计算任务中的聚合工作以降低每个节点处的工作负载。通过对每个工作节点计算结果使用编码生成冗余数据，可以避免工作节点计算结果丢失，以应对主节点出错的情形。