公开(公告)号：CN116633940A

公开(公告)日：2023-08-22

申请号：CN202310728724.7

申请日：2023-06-19

Applicant: 西安电子科技大学 ,  广州链融信息技术有限公司 ,  佛山链融新技术有限公司

Inventor： 冯杰 ,  廖燕燕 ,  裴庆祺 ,  刘雷 ,  赵哲

IPC: H04L67/101 ,  H04L67/1014 ,  H04L67/1004 ,  H04L41/0823 ,  H04L47/76

Abstract: 本申请公开了一种基于质量感知的在线客户端选择方法及装置，计算第t轮的客户端的数据质量，再根据第t‑1轮用户选择信道的累计次数计算通信时延奖励估值和通信能耗奖励估值，为每个客户端分配信道，并根据t‑1轮服务器选择客户端的累计次数计算训练时延奖励估值和训练能耗奖励估值，通过通信时延奖励估值、通信能耗奖励估值、训练时延奖励估值、训练能耗奖励估值以及数据质量计算出合适的客户端集，最后对选择的客户端集重新计算信道分配，直至所有信道分配完成，以实现基于质量感知的在线客户端选择。通过设计客户端选择、信道分配等联合优化策略，能够表现出更好的性能，实现数据质量、时延和能耗之间的平衡，提高了收敛精度。

公开(公告)号：CN119272838A

公开(公告)日：2025-01-07

申请号：CN202411341560.3

申请日：2024-09-25

Applicant: 西安电子科技大学

Inventor： 冯杰 ,  廖燕燕 ,  黄欣琦 ,  刘雷 ,  裴庆祺

IPC: G06N3/092 ,  H04W24/02 ,  G06N3/098 ,  G06N3/045

Abstract: 本申请的实施例涉及无线联邦学习技术领域，特别涉及一种基于声誉的客户端调度深度强化学习优化方法，包括：定义并初始化客户端的环境状态，并设计动作和奖励；通过行动者网络进行最优动作选择并进行随机采样，得到客户端调度；基于客户端调度，确定带宽分配、传输速率和CPU频率；指示各客户端执行本地联邦学习并上传更新模型，以更新各客户端的声誉价值；基于反馈信号得到奖励，并更新当前状态、当前动作、当前奖励、当前状态值和未来状态，放入重放缓冲区中；若达到设定的最大迭代次数阈值或满足预设的收敛判断条件，则得到优化后的行动者网络和评论者网络损失函数参数，进而得到最优的客户端调度。该方法够减少联邦学习延迟，优化客户端调度。