面向大规模产业链隐私计算的联邦学习模型训练方法

    公开(公告)号:CN114169412B

    公开(公告)日:2024-09-06

    申请号:CN202111397160.0

    申请日:2021-11-23

    IPC分类号: G06F18/214 G06N3/098

    摘要: 本发明提供一种面向大规模产业链隐私计算的联邦学习模型训练方法。所述方法包括:由联邦学习中心服务器节点以非独立同分布为目标划分产业链业务训练数据集,并分发至多个联邦学习工人节点;联邦学习工人节点基于目标利润函数迭代训练本地模型;聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后,根据各个本地模型权重分布和整体本地模型权重分布,计算每个联邦学习工人节点对应的地动距离,并剔除超过预设距离阈值的联邦学习工人节点;由剩余的联邦学习工人节点继续进行模型训练。本发明在联邦学习模型训练过程中将分布差异过大的数据分布剔除,减少异质性数据带来的精度损失,提高了传统算法在产业链中的应用可靠性。

    面向大规模产业链隐私计算的联邦学习模型训练方法

    公开(公告)号:CN114169412A

    公开(公告)日:2022-03-11

    申请号:CN202111397160.0

    申请日:2021-11-23

    IPC分类号: G06K9/62 G06N20/00

    摘要: 本发明提供一种面向大规模产业链隐私计算的联邦学习模型训练方法。所述方法包括:由联邦学习中心服务器节点以非独立同分布为目标划分产业链业务训练数据集,并分发至多个联邦学习工人节点;联邦学习工人节点基于目标利润函数迭代训练本地模型;聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后,根据各个本地模型权重分布和整体本地模型权重分布,计算每个联邦学习工人节点对应的地动距离,并剔除超过预设距离阈值的联邦学习工人节点;由剩余的联邦学习工人节点继续进行模型训练。本发明在联邦学习模型训练过程中将分布差异过大的数据分布剔除,减少异质性数据带来的精度损失,提高了传统算法在产业链中的应用可靠性。

    一种联邦学习多任务调度方法及装置

    公开(公告)号:CN116010051A

    公开(公告)日:2023-04-25

    申请号:CN202211659095.9

    申请日:2022-12-22

    IPC分类号: G06F9/48 G06N20/20

    摘要: 本发明提供一种联邦学习多任务调度方法及装置,获取目标联邦学习任务以及所述目标联邦学习任务的当前事件,其中,所述目标联邦学习任务包括多个事件,所述事件根据事件执行时间以及所需资源对所述目标联邦学习任务进行阶段划分得到;根据所述目标联邦学习任务的属性信息以及所述当前事件的类型确定事件优先级比率;根据所述事件优先级比率以及所述当前事件进入调度队列的时间确定所述当前事件对应的累积优先级;利用预定义的自适应资源分配算法为所述当前事件分配计算节点,基于所述计算节点并按照所述累积优先级执行所述当前事件。本发明确保了任务执行过程公平性,降低了系统整体任务执行时间,提高了资源利用率。