公开(公告)号：CN118780399A

公开(公告)日：2024-10-15

申请号：CN202411273181.5

申请日：2024-09-12

申请人： 青岛理工大学

发明人： 王金龙 ,  杨兴涛 ,  刘镇宇 ,  赵浩然 ,  赵小琪 ,  翟伟伟 ,  张媛媛 ,  熊晓芸 ,  孟凡云 ,  王超

IPC分类号： G06N20/00 ,  G06F21/64 ,  G06F18/23213

摘要： 本发明涉及联邦学习技术领域，公开了一种基于区块链的半异步联邦学习方法，包括如下步骤：创建一个全局模型A，并进行初始化；客户端提取全局模型A并在本地数据上训练，生成更新后的模型参数；然后生成新的全局模型B，并将其打包到新区块中；采用NDP‑Kmeans聚类算法，进行聚类分组；分组完成后，将全局模型B分发到各个客户端组；组内客户端使用全局模型B在本地数据上进行模型更新；将最新的全局模型打包成一个区块，并将其上传至区块链网络并进行共识，循环执行直到全局模型收敛，达到预期的性能指标，或者训练过程达到预设的最大轮次。本发明的方法在保持模型更新质量的同时，大幅提升了联邦学习在设备异构环境中的总体效率。

公开(公告)号：CN118761455A

公开(公告)日：2024-10-11

申请号：CN202411253260.X

申请日：2024-09-09

申请人： 青岛理工大学

发明人： 王金龙 ,  刘镇宇 ,  杨兴涛 ,  翟伟伟 ,  张媛媛 ,  赵浩然 ,  熊晓芸 ,  孟凡云 ,  崔吉福 ,  王爱玲

IPC分类号： G06N3/098 ,  G06N3/096 ,  G06N3/082

摘要： 本发明涉及联邦学习领域和知识蒸馏技术领域，公开了一种基于知识蒸馏的个性化联邦学习方法，包括如下步骤：初始化中央服务器的全局模型和本地设备数量；将初始化后的全局模型广播到本地设备；所有本地设备使用本地私有数据进行模型训练；并将本地模型参数上传至中央服务器聚合生成新的全局模型；通过非结构化剪枝技术对聚合生成的新的全局模型进行剪枝，将全局模型变成一个学生友好型的教师模型；将剪枝后得到的教师模型中的最终预测和注意力图知识传递给本地模型，本地模型此时作为学生模型，根据传递的知识进行更新。本发明所公开的方法能够缓解数据异质性情况下产生的客户端漂移问题，提高模型精度表现，并能减少本地设备之间的通信成本。