Invention Publication
- Patent Title: 一种基于对比学习的联邦学习稀疏训练方法及系统
-
Application No.: CN202211349843.3Application Date: 2022-10-31
-
Publication No.: CN115829027APublication Date: 2023-03-21
- Inventor: 陈家辉 , 李峥明 , 徐培明
- Applicant: 广东工业大学 , 南方电网科学研究院有限责任公司
- Applicant Address: 广东省广州市越秀区东风东路729号;
- Assignee: 广东工业大学,南方电网科学研究院有限责任公司
- Current Assignee: 广东工业大学,南方电网科学研究院有限责任公司
- Current Assignee Address: 广东省广州市越秀区东风东路729号;
- Agency: 广州粤高专利商标代理有限公司
- Agent 刘俊
- Main IPC: G06N3/098
- IPC: G06N3/098 ; G06N3/0464

Abstract:
本发明公开了一种基于对比学习的联邦学习稀疏训练方法及系统,涉及联邦学习算法框架、神经网络稀疏训练和对比学习的交叉领域。其中,所述方法包括:服务端向本地客户端发送全局模型和掩码;本地客户端根据接收的全局模型和掩码,生成局部稀疏模型,并使用本地数据集对局部稀疏模型进行训练;本地客户端进行对比损失函数计算,更新本地损失函数和局部稀疏模型,并将更新后的局部稀疏模型上传到服务端;服务端聚合本地客户端更新后的局部稀疏模型,对全局模型进行更新,并将更新后的全局模型发送给本地客户端,开始新一轮的沟通训练直至全局模型收敛。本发明通过在联邦学习中引入稀疏训练和对比学习,显著降低计算通信开销,提高了全局模型的性能。
Information query