公开(公告)号：CN116470920A

公开(公告)日：2023-07-21

申请号：CN202310423325.X

申请日：2023-04-19

申请人： 北京交通大学

发明人： 孙永奇 ,  隋一凡 ,  廖鑫亭 ,  原继东 ,  李浥东

IPC分类号： H03M7/40 ,  G06N20/00

摘要： 本发明提供了一种面向联邦学习的双向自适应梯度压缩方法及系统。该方法包括：服务器自适应确定本轮训练的量化位宽和压缩率，向各个客户端传输梯度或模型参数；客户端根据相关参数计算本轮梯度并压缩，预测下一轮训练的收敛速度，将压缩梯度和收敛速度预测值上传给服务器；服务器对各客户端的压缩梯度进行解压、聚合和再压缩处理，根据各个客户端上传的收敛速度预测值计算全局收敛速度预测值，更新全局模型和发送队列。本发明的方法通过自适应梯度压缩率和量化位宽，在保证模型精度的同时提升通信效率；设计稀疏化和量化中的编码方式以及新颖的双向梯度压缩策略，降低通信开销，提高每轮可参与的客户端数量，缓解在大规模联邦学习中的带宽瓶颈。