发明公开
- 专利标题: 一种基于对比学习的联邦学习稀疏训练方法及系统
-
申请号: CN202211349843.3申请日: 2022-10-31
-
公开(公告)号: CN115829027A公开(公告)日: 2023-03-21
- 发明人: 陈家辉 , 李峥明 , 徐培明
- 申请人: 广东工业大学 , 南方电网科学研究院有限责任公司
- 申请人地址: 广东省广州市越秀区东风东路729号;
- 专利权人: 广东工业大学,南方电网科学研究院有限责任公司
- 当前专利权人: 广东工业大学,南方电网科学研究院有限责任公司
- 当前专利权人地址: 广东省广州市越秀区东风东路729号;
- 代理机构: 广州粤高专利商标代理有限公司
- 代理商 刘俊
- 主分类号: G06N3/098
- IPC分类号: G06N3/098 ; G06N3/0464
摘要:
本发明公开了一种基于对比学习的联邦学习稀疏训练方法及系统,涉及联邦学习算法框架、神经网络稀疏训练和对比学习的交叉领域。其中,所述方法包括:服务端向本地客户端发送全局模型和掩码;本地客户端根据接收的全局模型和掩码,生成局部稀疏模型,并使用本地数据集对局部稀疏模型进行训练;本地客户端进行对比损失函数计算,更新本地损失函数和局部稀疏模型,并将更新后的局部稀疏模型上传到服务端;服务端聚合本地客户端更新后的局部稀疏模型,对全局模型进行更新,并将更新后的全局模型发送给本地客户端,开始新一轮的沟通训练直至全局模型收敛。本发明通过在联邦学习中引入稀疏训练和对比学习,显著降低计算通信开销,提高了全局模型的性能。