发明公开
- 专利标题: 一种融合地理分布式机器学习多维特征的梯度传输方法
-
申请号: CN202311047597.0申请日: 2023-08-17
-
公开(公告)号: CN117319283A公开(公告)日: 2023-12-29
- 发明人: 肖戈扬 , 梁元 , 何源浩 , 程小峰 , 方啸天 , 张汝云 , 邹涛 , 朱俊 , 骆汉光 , 徐琪 , 张慧峰 , 沈丛麒 , 潘仲夏 , 闫林林 , 衣晓玉 , 国兴昌
- 申请人: 之江实验室
- 申请人地址: 浙江省杭州市文一西路1818号
- 专利权人: 之江实验室
- 当前专利权人: 之江实验室
- 当前专利权人地址: 浙江省杭州市文一西路1818号
- 代理机构: 北京正华智诚专利代理事务所
- 代理商 李蕊
- 主分类号: H04L45/02
- IPC分类号: H04L45/02 ; H04L47/12 ; G06N20/00 ; G06N3/006
摘要:
本发明提供了一种融合地理分布式机器学习多维特征的梯度传输方法,包括:由全局调度器收集分散在不同地理位置的多维特征,生成计算调度任务,并将计算结果转化为调度策略分发至网络节点和计算节点;由网络节点接收全局调度器发送的调度策略,根据调度策略更新路由转发表,并由计算节点接收全局调度器发送的端到端调度策略,并根据策略执行传输调度。本发明在链路带宽资源动态变化和拓扑结构非对称的广域网场景下,如何利用不同参数更新对模型收敛重要度的差异性以及模型训练对不完整参数更新的容忍性,并基于此建立传输模型和数学模型将这些特征应用于数据的传输优化设计中实现自适应的传输服务,降低梯度数据的传输完成时间。