公开(公告)号：CN110443063B

公开(公告)日：2023-03-28

申请号：CN201910563455.7

申请日：2019-06-26

申请人： 电子科技大学

发明人： 李洪伟 ,  刘小源 ,  徐国文 ,  刘森 ,  龚丽 ,  姜文博 ,  成艺 ,  任彦之 ,  李双

IPC分类号： G06F21/62 ,  G06N20/00

摘要： 本发明提出一种自适性保护隐私的联邦深度学习的方法，以保护联邦深度学习中用户的原始数据不被好奇的服务器获知，同时保护学习模型的参数不泄露用户原始数据的信息。各个参与者预先与云服务器协商一个网络框架，然后云服务器得到一个初始化的模型，云服务器将该模型参数广播给各个参与者；参与者下载初始化的模型参数并更新自己的本地模型，然后结合本地数据集进行训练，并基于数据属性对模型输出的不同贡献度，对不同数据特征实施有差异的隐私保护操作，参与者将各自训练得到的本地梯度发送给云服务器；最终，云服务器收集各参与者的梯度信息后更新自己的模型来进行后续的训练。本发明在满足隐私保护的前提下，极大提高学习模型的精确度。

公开(公告)号：CN110009111A

公开(公告)日：2019-07-12

申请号：CN201910250513.0

申请日：2019-03-29

申请人： 电子科技大学 ,  中电科大数据研究院有限公司 ,  中国电子科技网络信息安全有限公司

发明人： 李洪伟 ,  姜文博 ,  杨浩淼 ,  任彦之 ,  郝尧 ,  李泽松 ,  梁玲玲 ,  赵礼炜 ,  徐国文 ,  成艺 ,  郝猛 ,  刘小源 ,  龚丽

IPC分类号： G06N20/00

摘要： 本发明公开了一种机器学习逆过程中生成最优训练集的方法，机器学习逆过程又称为机器教学，即给定模型的学习目标，求出训练集，属于机器学习技术领域。本发明包括以下步骤：设定教学者模型、生成样本点、优化样本点。本发明中，教学者希望能在尽量少的数据修改程度的情况下来达到更好的教学效果，即所述方法从数据修改程度和教学效果两个角度来定义生成教学者的策略，并引入一个权衡参数，教学者可通过该参数来综合教学的效果和数据修改程度，保证了策略的灵活性。

公开(公告)号：CN112765662B

公开(公告)日：2022-06-03

申请号：CN202110093713.7

申请日：2021-01-22

申请人： 电子科技大学

发明人： 李洪伟 ,  陈宗琪 ,  孙昊楠 ,  范文澍 ,  张云 ,  郝猛 ,  陈涵霄 ,  刘小源

IPC分类号： G06F21/62 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种在深度学习下支持训练集成员隐私保护的方法，属于深度学习隐私保护技术领域。本发明基于数据混合技术方法的处理机制，采用增强混淆训练混合了训练数据样本与多元随机化设置，并在记忆训练过程中设置了一个额外的混合项，即记忆残留项，并扩大记忆残留项以增强对成员推理攻击的防御能力。通过该混合操作可以防止分类器记住样本数据，因此可以有效地抵抗成员推理攻击。本发明可以阻止模型与它的训练数据过度拟合，提高了目标模型的鲁棒性；且本发明不需要攻击者的先验知识，与现有技术相比，消耗的额外计算资源少；能有效抵御基于模型和度量攻击的成员推理攻击。

公开(公告)号：CN112765662A

公开(公告)日：2021-05-07

申请号：CN202110093713.7

申请日：2021-01-22

申请人： 电子科技大学

发明人： 李洪伟 ,  陈宗琪 ,  孙昊楠 ,  范文澍 ,  张云 ,  郝猛 ,  陈涵霄 ,  刘小源

IPC分类号： G06F21/62 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种在深度学习下支持训练集成员隐私保护的方法，属于深度学习隐私保护技术领域。本发明基于数据混合技术方法的处理机制，采用增强混淆训练混合了训练数据样本与多元随机化设置，并在记忆训练过程中设置了一个额外的混合项，即记忆残留项，并扩大记忆残留项以增强对成员推理攻击的防御能力。通过该混合操作可以防止分类器记住样本数据，因此可以有效地抵抗成员推理攻击。本发明可以阻止模型与它的训练数据过度拟合，提高了目标模型的鲁棒性；且本发明不需要攻击者的先验知识，与现有技术相比，消耗的额外计算资源少；能有效抵御基于模型和度量攻击的成员推理攻击。

公开(公告)号：CN111563265A

公开(公告)日：2020-08-21

申请号：CN202010342081.9

申请日：2020-04-27

申请人： 电子科技大学

发明人： 李洪伟 ,  李毅然 ,  刘鹏飞 ,  黄晓明 ,  刘洋洋 ,  徐国文 ,  郝猛 ,  姜文博 ,  龚丽 ,  刘小源 ,  陈涵霄 ,  李双 ,  任彦之 ,  杨浩淼

IPC分类号： G06F21/60 ,  G06F21/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于隐私保护的分布式深度学习方法，首先，在该方法中各个用户利用私有数据集训练本地模型并获得本地梯度，然后，各个用户利用门限加密算法对用户本地梯度数据进行加密，最后，云服务器实现安全聚合和学习模型全局参数的更新进而完成保护隐私的分布式学习训练过程。本发明将门限加密算法应用在分布式深度学习模型中，提出了安全高效的深度学习训练方法，利用门限加密的同态特性实现了梯度数据在云服务器的安全聚合，基于门限加密算法的门限特性，即使服务器与一定数量用户勾结也无法推断用户训练数据的隐私，同时，基于门限加密算法的非交互特性，本发明可以容忍用户在训练过程中有意或无意的退出行为。

公开(公告)号：CN110443063A

公开(公告)日：2019-11-12

申请号：CN201910563455.7

申请日：2019-06-26

申请人： 电子科技大学

发明人： 李洪伟 ,  刘小源 ,  徐国文 ,  刘森 ,  龚丽 ,  姜文博 ,  成艺 ,  任彦之 ,  李双

IPC分类号： G06F21/62 ,  G06N20/00

摘要： 本发明提出一种自适性保护隐私的联邦深度学习的方法，以保护联邦深度学习中用户的原始数据不被好奇的服务器获知，同时保护学习模型的参数不泄露用户原始数据的信息。各个参与者预先与云服务器协商一个网络框架，然后云服务器得到一个初始化的模型，云服务器将该模型参数广播给各个参与者；参与者下载初始化的模型参数并更新自己的本地模型，然后结合本地数据集进行训练，并基于数据属性对模型输出的不同贡献度，对不同数据特征实施有差异的隐私保护操作，参与者将各自训练得到的本地梯度发送给云服务器；最终，云服务器收集各参与者的梯度信息后更新自己的模型来进行后续的训练。本发明在满足隐私保护的前提下，极大提高学习模型的精确度。