-
公开(公告)号：CN119089982B
公开(公告)日：2025-04-08
申请号：CN202411212448.X
申请日：2024-08-30
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院) , 潍柴动力股份有限公司
IPC: G06N3/098 , G06N3/084 , G06N3/0499 , G06F21/57
Abstract: 本发明涉及应用于攻击场景下的分布式学习聚合方法、存储介质和程序产品。该方法包括：构建包含n个节点和单个参数服务器的异构分布式学习系统；参数服务器获取各个节点的梯度；基于接收的各个节点的梯度，参数服务器获取各个节点梯度的范数与方向；基于各个节点梯度的范数与方向，参数服务器计算各个梯度的保留概率，并进行概率筛选，确定保留梯度；根据梯度筛选结果，参数服务器获取各个保留梯度的平均值，根据各个保留梯度的平均值，进行全局模型参数的迭代优化，利用最终优化后的全局模型参数对异构分布式学习系统进行性能评估。本发明将梯度的范数与方向信息相结合，通过概率筛选实现了在异构分布式机器学习环境下保持拜占庭鲁棒性的目标。
-
公开(公告)号：CN119089982A
公开(公告)日：2024-12-06
申请号：CN202411212448.X
申请日：2024-08-30
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院) , 潍柴动力股份有限公司
IPC: G06N3/098 , G06N3/084 , G06N3/0499 , G06F21/57
Abstract: 本发明涉及应用于攻击场景下的分布式学习聚合方法、存储介质和程序产品。该方法包括：构建包含n个节点和单个参数服务器的异构分布式学习系统；参数服务器获取各个节点的梯度；基于接收的各个节点的梯度，参数服务器获取各个节点梯度的范数与方向；基于各个节点梯度的范数与方向，参数服务器计算各个梯度的保留概率，并进行概率筛选，确定保留梯度；根据梯度筛选结果，参数服务器获取各个保留梯度的平均值，根据各个保留梯度的平均值，进行全局模型参数的迭代优化，利用最终优化后的全局模型参数对异构分布式学习系统进行性能评估。本发明将梯度的范数与方向信息相结合，通过概率筛选实现了在异构分布式机器学习环境下保持拜占庭鲁棒性的目标。
-
公开(公告)号：CN118070929B
公开(公告)日：2024-09-17
申请号：CN202410465104.3
申请日：2024-04-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N20/20 , G06F18/2431
Abstract: 本发明属于分布式机器学习系统优化的技术领域，涉及一种分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质。该方法包括：构建包含#imgabs0#个节点和单个参数服务器的分布式学习系统，节点为诚实节点和恶意节点；基于诚实节点从其局部数据集选取的数据样本，计算并修正数据样本的局部梯度，以迭代优化本地梯度差异；引入动量项，将修正后的局部梯度与上一迭代轮次的动量向量结合，再将得到的当前迭代轮次的动量向量归一化为单位动量向量发送给参数服务器，得到局部聚合结果；对局部聚合结果进行全局聚合，以迭代优化全局梯度差异。本发明解决了由于本地梯度差异和全局梯度差异而制约系统在面对恶意节点和攻击时的鲁棒性表现的问题。
-
公开(公告)号：CN118070929A
公开(公告)日：2024-05-24
申请号：CN202410465104.3
申请日：2024-04-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N20/20 , G06F18/2431
Abstract: 本发明属于分布式机器学习系统优化的技术领域，涉及一种分布式机器学习系统中梯度异构双重优化方法、装置、电子设备及存储介质。该方法包括：构建包含#imgabs0#个节点和单个参数服务器的分布式学习系统，节点为诚实节点和恶意节点；基于诚实节点从其局部数据集选取的数据样本，计算并修正数据样本的局部梯度，以迭代优化本地梯度差异；引入动量项，将修正后的局部梯度与上一迭代轮次的动量向量结合，再将得到的当前迭代轮次的动量向量归一化为单位动量向量发送给参数服务器，得到局部聚合结果；对局部聚合结果进行全局聚合，以迭代优化全局梯度差异。本发明解决了由于本地梯度差异和全局梯度差异而制约系统在面对恶意节点和攻击时的鲁棒性表现的问题。
-
-
-
Search Results
4
records
(took 0.079 seconds)
