一种基于迭代处理的主对偶分布式加速优化方法

    公开(公告)号:CN112000920B

    公开(公告)日:2024-09-24

    申请号:CN202010793221.4

    申请日:2020-08-07

    申请人: 西南大学

    IPC分类号: G06F17/16 G06F17/18 G06N20/00

    摘要: 本发明涉及一种基于迭代处理的主对偶分布式加速优化方法,属于大规模机器学习分布式优化技术领域。该方法基于迭代处理的分布式计算方式,采用Nesterov梯度加速技术,主要包括以下步骤:S1:确定目标函数;S2:搭建通信网络;S3:变量初始化;S4:选取合适的步长和动量参数;S5:变量更新。本方法采用分布式计算方式,具有广泛的应用领域,例如:机器学习、信号与信息处理、资源分配等;同时,采用Nesterov梯度加速技术,极大地提高了所提算法的收敛速度。本方法为无向通信网络下的分布式优化的应用奠定了理论基础,扩大了其应用范围。

    一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法

    公开(公告)号:CN111953515B

    公开(公告)日:2021-09-21

    申请号:CN202010648481.2

    申请日:2020-07-07

    申请人: 西南大学

    IPC分类号: H04L12/24

    摘要: 本发明公开了一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法,包括如下步骤:初始化变量、确定时延值和激活节点、清除过时信息、搭建网络、确定参数、更新变量;在本发明中,我们采用了一种非常通用的异步模型。在该模型中,1)所有的智能体可以在任意时刻且没有任何协调控制下与它们的近邻进行通信;2)通过使用时延信息,所有的智能体可以进行局部处理自己的子问题。因此,异步算法可以极大地减少通信链路的空闲时间,缓解网络和内存访问拥塞,节省电源,而且对实际网络系统具有更强的鲁棒性和容错性。本发明在大规模机器学习和网络信息处理中有着广泛的应用。

    一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法

    公开(公告)号:CN111953515A

    公开(公告)日:2020-11-17

    申请号:CN202010648481.2

    申请日:2020-07-07

    申请人: 西南大学

    IPC分类号: H04L12/24

    摘要: 本发明公开了一种基于Nesterov梯度法和重球法的双加速分布式异步优化方法,包括如下步骤:初始化变量、确定时延值和激活节点、清除过时信息、搭建网络、确定参数、更新变量;在本发明中,我们采用了一种非常通用的异步模型。在该模型中,1)所有的智能体可以在任意时刻且没有任何协调控制下与它们的近邻进行通信;2)通过使用时延信息,所有的智能体可以进行局部处理自己的子问题。因此,异步算法可以极大地减少通信链路的空闲时间,缓解网络和内存访问拥塞,节省电源,而且对实际网络系统具有更强的鲁棒性和容错性。本发明在大规模机器学习和网络信息处理中有着广泛的应用。

    一种基于连续凸逼近的分布式异步优化方法

    公开(公告)号:CN111865678A

    公开(公告)日:2020-10-30

    申请号:CN202010669680.1

    申请日:2020-07-13

    申请人: 西南大学

    IPC分类号: H04L12/24 H04L12/801

    摘要: 本发明涉及一种基于连续凸逼近的分布式异步优化方法,属于网络通信领域。该方法包括:S1:构建问题模型,即选择实际问题全局目标函数;S2:初始化每个节点所持局部变量,并设置最大迭代次数;S3:搭建有向强连通的非平衡源网络,并在其基础上添加虚拟节点搭建增广网络;S4:设置时延阈值、迭代次数以及系统参数;S5:确定的激活节点以及与之相关联的时延值的关系;S6:清除系统中过时信息;S7:选取代理函数,设置合适的步长和动量参数;S8:激活节点通过与近邻通信或者利用时延值变量更新,非激活节点保持当前变量值进入下一个迭代更新,直到达到迭代次数阈值。本发明对异步网络具有强鲁棒性和容错性,提高通信链路利用效率。