一种联邦学习的本地模型参数聚合方法

    公开(公告)号:CN116702191A

    公开(公告)日:2023-09-05

    申请号:CN202310615878.5

    申请日:2023-05-29

    IPC分类号: G06F21/62 G06F21/60 G06N20/20

    摘要: 本发明提供了一种联邦学习本地模型参数聚合方法。该方法包括:对可信机构进行初始化处理,获得系统公共参数和主私钥;客户端和中心服务器向可信机构请求注册,可信机构组建所有客户端的通信群;客户端使用本地数据对中心服务器下发的全局模型进行训练,获得本地模型参数;客户端使用签名密钥和中心服务器的公钥签名并加密本地模型参数,将本地模型参数的密文和签名以匿名方式上传给中心服务器;中心服务器解密各客户端上传的本地模型参数,验证本地模型参数的签名;聚合经过验证的本地模型参数,根据聚合结果更新全局模型,向通信群中的所有客户端广播更新后的全局模型。本发明方法强化了联邦学习的隐私保护能力,维护联邦学习系统的鲁棒性。

    一种联邦推荐无目标投毒攻击防御方法、装置和系统

    公开(公告)号:CN118233190A

    公开(公告)日:2024-06-21

    申请号:CN202410387088.0

    申请日:2024-04-01

    IPC分类号: H04L9/40 G06N3/098 G06F18/214

    摘要: 本发明提供一种联邦推荐无目标投毒攻击防御方法、装置和系统,其中方法包括:服务器随机初始一组用户嵌入以近似良性用户嵌入分布;服务器依据近似的用户嵌入组及不同用户上传的更新信息,依次计算项目的推荐评分、评分变化速度、项目统计频数,并由此推断可能的流行项目;服务器采用“多轮综合评价”原则,依据用户与全局模型近次在流行项目上的评分行为一致性共同量化其在本轮的贡献值;服务器计算动态阈值并据此剔除贡献小于这一阈值的异常用户;服务器将剩余用户上传的梯度作为正常梯度参与后续聚合更新,并将聚合更新后的结果作为新一轮参数发送至用户;重复该过程直至模型收敛。本发明有效提高了联邦推荐模型对无目标投毒攻击的抵抗能力。

    一种基于特征嵌入分析的纵向联邦学习隐私泄露检测方法

    公开(公告)号:CN116341004B

    公开(公告)日:2023-09-08

    申请号:CN202310304542.7

    申请日:2023-03-27

    摘要: 本发明提供了一种基于特征嵌入分析的纵向联邦学习隐私泄露检测方法。该方法包括:检测者在纵向联邦学习的训练过程中嵌入影子数据;获取影子数据和纵向联邦学习的目标参与者的私有训练数据在底部模型上的特征嵌入数据,对特征嵌入数据进行平滑处理;利用影子数据和影子数据平滑处理后的特征嵌入数据克隆底部模型的代理模型;利用代理模型通过特征嵌入匹配重构目标参与者的私有训练数据,对纵向联邦学习进行原始数据泄露检测。本发明方法在不破坏VFL效用的条件下,同时实现了对模型泄露、原始数据泄露以及数据特征泄露的脆弱性分析。

    面向联邦学习投毒攻击的防御方法、装置、设备及介质

    公开(公告)号:CN116527393B

    公开(公告)日:2024-01-16

    申请号:CN202310662319.X

    申请日:2023-06-06

    IPC分类号: H04L9/40 G06N20/00 G06F18/214

    摘要: 本发明提供了一种面向联邦学习投毒攻击的防御方法、装置、设备及介质,包括:从多个客户端中获取本地数据对应的第一特征嵌入信息,本地数据预存在客户端中,各个客户端中的本地数据为总训练样本的不相交的样本子集;对第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算;根据计算得到的互信息对第一特征嵌入信息进行异常特征嵌入剔除,并将剔除后的第一特征嵌入信息作为正常特征嵌入信息;基于正常特征嵌入信息对预存的顶部模型进行训练,以优化顶部模型参数。本发明能够在不借助辅助数据以及不接触客户端底部模型的条件下实现对恶意样本的规避且不影响模型的可用性,适用于纵向联邦学习场景中。

    鲁棒的个性化联邦学习方法、装置、系统及存储介质

    公开(公告)号:CN116962085A

    公开(公告)日:2023-10-27

    申请号:CN202311213109.9

    申请日:2023-09-20

    IPC分类号: H04L9/40 H04L41/16 G06N3/098

    摘要: 本说明书实施例提供了一种鲁棒的个性化联邦学习方法、装置及系统,方法包括:服务器接收来自多个客户端的模型更新数据,模型更新数据为在客户端上训练的本地模型的参数在训练前后的参数差值;服务器根据模型更新数据,得到各模型更新数据之间的基于α的层位置正则化相似度;服务器针对每一个客户端,根据基于α的层位置正则化相似度,得到模型更新数据的权重;服务器根据模型更新数据的权重和模型更新数据,分别得到各客户端对应的聚合模型更新数据;服务器发送聚合模型更新数据到各客户端。本申请提供的技术方案用以解决在联邦学习中系统中存在恶意攻击者时,通过本地协作训练算法同时训练本地模型和聚合模型来抵御恶意客户端的投毒攻击问题。

    面向联邦学习投毒攻击的防御方法、装置、设备及介质

    公开(公告)号:CN116527393A

    公开(公告)日:2023-08-01

    申请号:CN202310662319.X

    申请日:2023-06-06

    IPC分类号: H04L9/40 G06N20/00 G06F18/214

    摘要: 本发明提供了一种面向联邦学习投毒攻击的防御方法、装置、设备及介质,包括:从多个客户端中获取本地数据对应的第一特征嵌入信息,本地数据预存在客户端中,各个客户端中的本地数据为总训练样本的不相交的样本子集;对第一特征嵌入信息与预存的本地数据对应的数据标签进行互信息计算;根据计算得到的互信息对第一特征嵌入信息进行异常特征嵌入剔除,并将剔除后的第一特征嵌入信息作为正常特征嵌入信息;基于正常特征嵌入信息对预存的顶部模型进行训练,以优化顶部模型参数。本发明能够在不借助辅助数据以及不接触客户端底部模型的条件下实现对恶意样本的规避且不影响模型的可用性,适用于纵向联邦学习场景中。

    基于知识蒸馏和锐度感知最小化的个性化联邦学习方法

    公开(公告)号:CN118862948A

    公开(公告)日:2024-10-29

    申请号:CN202410786500.6

    申请日:2024-06-18

    IPC分类号: G06N3/042 G06N3/096 G06N3/098

    摘要: 本发明提供了一种基于知识蒸馏和锐度感知最小化的个性化联邦学习方法。该方法包括:服务器生成全局共享无标签伪数据集,并下发给各个客户端;客户端利采用锐度感知最小化方法对本地模型进行优化,得到优化后的本地模型wc;客户端利用本地数据集和无标签伪数据集生成本地知识,服务器对各个客户端的本地知识中的logits依据权重系数进行加权运算得到全局#imgabs0#将由全局原型p和全局#imgabs1#构成的全局知识下发给各个客户端;客户端根据本地logits和全局知识中的全局#imgabs2#对本地模型wc进行更新。本发明利用无标签伪数据集作为公共数据集进行知识蒸馏,就能够实现良好的性能。服务器利用权重对本地知识进行聚合,以获得高质量的全局知识,用于提升本地模型性能。