公开(公告)号：CN118862948A

公开(公告)日：2024-10-29

申请号：CN202410786500.6

申请日：2024-06-18

申请人： 北京交通大学

发明人： 王伟 ,  李晗溪 ,  陈国荣 ,  韩昫 ,  卫相宇 ,  刘鹏睿 ,  吕晓婷 ,  许向蕊 ,  陈政 ,  胡福强 ,  祝咏升 ,  段莉 ,  李超

IPC分类号： G06N3/042 ,  G06N3/096 ,  G06N3/098

摘要： 本发明提供了一种基于知识蒸馏和锐度感知最小化的个性化联邦学习方法。该方法包括：服务器生成全局共享无标签伪数据集，并下发给各个客户端；客户端利采用锐度感知最小化方法对本地模型进行优化，得到优化后的本地模型wc；客户端利用本地数据集和无标签伪数据集生成本地知识，服务器对各个客户端的本地知识中的logits依据权重系数进行加权运算得到全局#imgabs0#将由全局原型p和全局#imgabs1#构成的全局知识下发给各个客户端；客户端根据本地logits和全局知识中的全局#imgabs2#对本地模型wc进行更新。本发明利用无标签伪数据集作为公共数据集进行知识蒸馏，就能够实现良好的性能。服务器利用权重对本地知识进行聚合，以获得高质量的全局知识，用于提升本地模型性能。

公开(公告)号：CN118540096A

公开(公告)日：2024-08-23

申请号：CN202410421446.5

申请日：2024-04-09

申请人： 北京交通大学

发明人： 王伟 ,  郝玉蓉 ,  刘吉强 ,  李超 ,  段莉 ,  许向蕊 ,  陈国荣 ,  刘鹏睿 ,  吕晓婷 ,  陈政 ,  刘敬楷 ,  振昊 ,  韩昫 ,  刘冲 ,  胡福强 ,  祝咏升 ,  代娇

IPC分类号： H04L9/40 ,  H04L41/16 ,  G06F16/9535 ,  G06N3/098 ,  G06N20/00

摘要： 本发明公开了一种面向联邦推荐的有目标投毒攻击防御方法及系统，包括：服务器随机选取预设比例的客户端参加模型训练；服务器连续记录不同用户在每一轮的更新项目模式；服务器通过识别良性用户在训练期间更新项目的两种模式，动态剔除不满足前述模式条件的异常用户；服务器将剩余用户上传的梯度作为正常梯度参与后续聚合更新，并将聚合更新后的结果作为新一轮参数发送至客户端；重复该过程直至模型收敛。本发明能够在训练过程中动态检测来自客户端上传的模型参数更新和交互项目更新模式，通过识别良性用户在训练期间更新项目的两种模式，针对性的对参与联邦推荐训练的异常用户进行检测并剔除，可以有效减轻有目标投毒攻击对联邦推荐系统的损害。

公开(公告)号：CN116962085B

公开(公告)日：2023-12-08

申请号：CN202311213109.9

申请日：2023-09-20

申请人： 北京交通大学

发明人： 王伟 ,  陈国荣 ,  吕晓婷 ,  许向蕊 ,  祝咏升 ,  胡福强 ,  刘鹏睿 ,  陈政 ,  韩臻 ,  段莉 ,  李超 ,  金一

IPC分类号： H04L9/40 ,  H04L41/16 ,  G06N3/098

摘要： 本说明书实施例提供了一种鲁棒的个性化联邦学习方法、装置及系统，方法包括：服务器接收来自多个客户端的模型更新数据，模型更新数据为在客户端上训练的本地模型的参数在训练前后的参数差值；服务器根据模型更新数据，得到各模型更新数据之间的基于α的层位置正则化相似度；服务器针对每一个客户端，根据基于α的层位置正则化相似度，得到模型更新数据的权重；服务器根据模型更新数据的权重和模型更新数据，分别得到各客户端对应的聚合模型更新数据；服务器发送聚合模型更新数据到各客户端。本申请提供的技术方案用以解决在联邦学习中系统中存在恶意攻击者时，通过本地协作训练

公开(公告)号：CN116882480A

公开(公告)日：2023-10-13

申请号：CN202311013570.X

申请日：2023-08-11

申请人： 北京交通大学

发明人： 王伟 ,  孔文康 ,  吕晓婷 ,  刘鹏睿 ,  陈国荣 ,  陈政 ,  刘敬楷 ,  祝咏升 ,  胡福强 ,  段莉 ,  李超 ,  刘吉强

IPC分类号： G06N3/088 ,  G06N3/098 ,  G06F18/214 ,  G06F18/241 ,  G06N5/02 ,  G06F21/62

摘要： 本发明提供了一种面向隐私保护的扩散模型驱动的无监督域泛化方法。该方法包括：目标服务器把训练完成的扩散模型和初始化完成的全局模型发送到各个客户端；各个客户端从扩散模型中采样出虚拟目标域数据，提取出域的特异特征和共享特征，各个客户端把域的共享特征和训练后的客户端模型上传到目标域中的目标服务器，目标服务器通过各客户端模型对目标域的样本进行联邦置信度投票，生成虚拟预测域；目标服务器根据各个客户端对虚拟预测域的贡献，动态调整各个客户端模型的权重，使用联邦置信度投票出的虚拟预测域，得到用于下一轮的联邦下发的全局模型。本发明使用扩散模型能够对目标域的数据进行较好的隐私保护，并有足够的通用性，降低了通讯压力。

公开(公告)号：CN116594992A

公开(公告)日：2023-08-15

申请号：CN202310876419.2

申请日：2023-07-18

申请人： 北京交通大学

发明人： 王伟 ,  许向蕊 ,  原笑含 ,  陈政 ,  刘鹏睿 ,  郝玉蓉 ,  祝咏升 ,  胡福强 ,  吕晓婷 ,  李超 ,  段莉 ,  刘吉强

IPC分类号： G06F16/215 ,  G06N20/00

摘要： 本说明书实施例提供了一种针对深度学习模型的机器遗忘方法及装置，其中，方法包括：根据当前拥有数据对原始深度学习模型进行训练，得到训练后的初始模型；根据请求被删除数据计算所述请求被删除数据的遗忘损失；将所述遗忘损失最小化，执行机器遗忘更新所述初始模型，得到遗忘后模型。本公开能够支持已训练模型对任意数据执行高效的遗忘，同时保证模型的可用性，在不损害模型可用性的基础上实现对特定样本的精准删除。