基于深度强化学习的联邦学习客户端智能选取方法及系统

    公开(公告)号:CN113191484B

    公开(公告)日:2022-10-14

    申请号:CN202110449033.4

    申请日:2021-04-25

    Abstract: 本发明公开了一种基于深度强化学习的联邦学习客户端智能选取方法及系统,该方法包括:联邦平台通过从联邦服务市场环境中收集客户端的状态作为输入,输入到基于策略网络的客户端选择智能体中,输出客户端选择方案;联邦平台根据当前环境状况以及客户端选择方案从多个候选客户端中选取一组最优的客户端以协同训练联邦学习模型,并将联邦学习性能作为奖励反馈给客户端选择智能体,以奖励用于优化更新策略网络;策略网络通过强化学习方法离线训练得到。本发明可从候选移动边缘设备中选择高质量的设备参与联邦学习,以处理分布式客户端低质量数据问题,以显著提高联邦学习质量。

    质量感知的边缘智能联邦学习方法及系统

    公开(公告)号:CN111754000A

    公开(公告)日:2020-10-09

    申请号:CN202010590843.7

    申请日:2020-06-24

    Abstract: 本发明公开了一种质量感知的边缘智能联邦学习方法及系统,该方法包括:云平台以多个学习任务的聚合模型质量之和在每次迭代中都达到最大为优化目标,构建联邦学习质量优化问题并解决:在每次迭代中,利用参与节点的历史学习质量记录预测参与节点的学习质量;其中,利用每次迭代中损失函数值的减少量来量化节点训练数据的学习质量;在每次迭代中,云平台通过反向拍卖机制激励高学习质量的节点参与联邦学习;以进行学习任务和学习报酬的分配;在每次迭代中,对于每个学习任务,每个参与节点将其本地模型参数上传到云平台以聚合得到全局模型。本发明可以在保护数据隐私的情况下,为模型的训练提供更丰富的数据和更多的算力,以提高模型的质量。

    一种高效通信的分层联邦学习框架及其优化方法和系统

    公开(公告)号:CN112070240A

    公开(公告)日:2020-12-11

    申请号:CN202010929585.0

    申请日:2020-09-07

    Abstract: 本发明公开了一种高效通信的分层联邦学习框架及其优化方法和系统,该框架包括:一个云聚合器、多个边缘聚合器和多个分布式计算节点;在每轮云聚合迭代中,边缘聚合器首先从云聚合器下载全局学习模型,每个分布式计算节点从其关联的边缘聚合器下载全局学习模型,训练模型更新上传到关联的边缘聚合器;边缘聚合器聚合接收模型更新并聚合发送回关联的计算节点,经过多次边缘聚合迭代后,将边缘模型更新上传到云聚合器;云聚合器将多个边缘模型聚合后得到全局模型更新发送回所有的边缘聚合器;重复边缘聚合以及云聚合迭代,直至全局模型达到目标精度。该优化方法采用通信开销最小化作为优化目标。本发明提高学习性能的同时,可降低系统的通信开销。

    质量感知的边缘智能联邦学习方法及系统

    公开(公告)号:CN111754000B

    公开(公告)日:2022-10-14

    申请号:CN202010590843.7

    申请日:2020-06-24

    Abstract: 本发明公开了一种质量感知的边缘智能联邦学习方法及系统,该方法包括:云平台以多个学习任务的聚合模型质量之和在每次迭代中都达到最大为优化目标,构建联邦学习质量优化问题并解决:在每次迭代中,利用参与节点的历史学习质量记录预测参与节点的学习质量;其中,利用每次迭代中损失函数值的减少量来量化节点训练数据的学习质量;在每次迭代中,云平台通过反向拍卖机制激励高学习质量的节点参与联邦学习;以进行学习任务和学习报酬的分配;在每次迭代中,对于每个学习任务,每个参与节点将其本地模型参数上传到云平台以聚合得到全局模型。本发明可以在保护数据隐私的情况下,为模型的训练提供更丰富的数据和更多的算力,以提高模型的质量。

    基于深度强化学习的联邦学习客户端智能选取方法及系统

    公开(公告)号:CN113191484A

    公开(公告)日:2021-07-30

    申请号:CN202110449033.4

    申请日:2021-04-25

    Abstract: 本发明公开了一种基于深度强化学习的联邦学习客户端智能选取方法及系统,该方法包括:联邦平台通过从联邦服务市场环境中收集客户端的状态作为输入,输入到基于策略网络的客户端选择智能体中,输出客户端选择方案;联邦平台根据当前环境状况以及客户端选择方案从多个候选客户端中选取一组最优的客户端以协同训练联邦学习模型,并将联邦学习性能作为奖励反馈给客户端选择智能体,以奖励用于优化更新策略网络;策略网络通过强化学习方法离线训练得到。本发明可从候选移动边缘设备中选择高质量的设备参与联邦学习,以处理分布式客户端低质量数据问题,以显著提高联邦学习质量。

    一种高效通信的分层联邦学习框架及其优化方法和系统

    公开(公告)号:CN112070240B

    公开(公告)日:2022-10-14

    申请号:CN202010929585.0

    申请日:2020-09-07

    Abstract: 本发明公开了一种高效通信的分层联邦学习框架及其优化方法和系统,该框架包括:一个云聚合器、多个边缘聚合器和多个分布式计算节点;在每轮云聚合迭代中,边缘聚合器首先从云聚合器下载全局学习模型,每个分布式计算节点从其关联的边缘聚合器下载全局学习模型,训练模型更新上传到关联的边缘聚合器;边缘聚合器聚合接收模型更新并聚合发送回关联的计算节点,经过多次边缘聚合迭代后,将边缘模型更新上传到云聚合器;云聚合器将多个边缘模型聚合后得到全局模型更新发送回所有的边缘聚合器;重复边缘聚合以及云聚合迭代,直至全局模型达到目标精度。该优化方法采用通信开销最小化作为优化目标。本发明提高学习性能的同时,可降低系统的通信开销。

    一种超表面网络的配置方法、超表面网络

    公开(公告)号:CN119031395A

    公开(公告)日:2024-11-26

    申请号:CN202410627874.3

    申请日:2024-05-20

    Applicant: 清华大学

    Abstract: 本申请公开了一种超表面网络的配置方法、超表面网络。本申请实施例的超表面网络的配置方法中,超表面网络包括多个超表面,并分别部署于信号发送端至信号接收端之间的信号传输路径上的不同预设位置,用于反射信号发送端发射的无线信号至信号接收端。由于部署了多个超表面,覆盖范围增大,能够满足实际需求。且本申请还对各超表面的连续补偿相位进行了配置,具体以幅度最大的信道和对应的各超表面的连续补偿相位的量化值对各超表面进行配置,保证了超表面网络能够满足需求,实现无线信号的反射。

    基于磁共振耦合和可调超表面的无线充电器及控制方法

    公开(公告)号:CN117375258A

    公开(公告)日:2024-01-09

    申请号:CN202311302212.0

    申请日:2023-10-09

    Applicant: 清华大学

    Abstract: 本申请公开了一种基于磁共振耦合和可调超表面的无线充电器及控制方法。该无线充电器包括发射器、由多个超表面单元组成的超表面、超表面控制电路、接收器及上位机,发射器产生交变磁场;超表面调整交变磁场的方向,并将交变磁场聚焦到接收器;超表面控制电路调整超表面单元的配置参数;接收器接收经过超表面聚焦的磁场,将磁场能量转换成直流电压,为待充电设备充电;上位机根据发射功率及接收功率生成控制信号,超表面控制电路根据控制信号调整超表面单元的配置参数,使接收器的接收功率达到目标功率,目标功率为使发射器与接收器之间的功率传输效率达到目标效率的接收功率。本申请所提供的方案提升了无线充电器的充电效率和充电距离。

    数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN117171782A

    公开(公告)日:2023-12-05

    申请号:CN202310834249.1

    申请日:2023-07-07

    Abstract: 本公开提供了一种数据处理方法、装置、电子设备及存储介质,属于隐私计算领域。该方法包括:针对目标业务场景,确定当前用于保护模型训练过程中隐私数据的隐私保护等级;其中,目标业务场景包括搜索业务场景、广告业务场景或推荐业务场景;其中,不同的隐私保护等级对应不同的数据保护范围,数据保护范围是对模型训练过程中的隐私数据进行加密处理的范围;对于已配置的多个隐私保护等级,级别高的隐私保护等级的数据保护范围包括级别低的隐私保护等级的数据保护范围;确定当前的隐私保护等级对应的第一数据保护范围;在模型训练过程中,对第一数据保护范围内的隐私数据进行加密处理,得到密文数据。本公开实现了有效的隐私保护。

    一种车载高清地图数据源选择方法及装置

    公开(公告)号:CN114328547A

    公开(公告)日:2022-04-12

    申请号:CN202111399669.9

    申请日:2021-11-19

    Applicant: 清华大学

    Inventor: 吴帆 任炬 张尧学

    Abstract: 本发明提出一种车载高清地图数据源选择方法及装置,该方法结合强化学习方法构建异步数据源选择框架,该框架分为离线训练和在线选择部分,离线部分负责使用深度强化学习算法进行神经网络模型的训练,同时在线部分使用从离线部分同步过来的神经网络参数进行数据源的选择,实现数据源选择、经验轨迹采集和模型训练的并行执行。通过本发明,能够避免数据源传输过程中造成的吞吐量降低的问题,避免频繁的数据源切换,有效选定最佳的车载高清地图数据源。

Patent Agency Ranking