发明公开
- 专利标题： 一种神经网络的针对模型并行的动态负载均衡方法
-
申请号： CN202110453555.1申请日： 2021-04-26
-
公开(公告)号： CN114217944A公开(公告)日： 2022-03-22
- 发明人: 漆锋滨 , 刘鑫 , 高捷 , 陈德训 , 刘沙 , 彭超 , 黄则强 , 王宜鹏
- 申请人： 无锡江南计算技术研究所
- 申请人地址： 江苏省无锡市滨湖区山水东路699号
- 专利权人： 无锡江南计算技术研究所
- 当前专利权人： 无锡江南计算技术研究所
- 当前专利权人地址： 江苏省无锡市滨湖区山水东路699号
- 代理机构： 苏州创元专利商标事务所有限公司
- 代理商 王健
- 主分类号： G06F9/50
- IPC分类号： G06F9/50 ; G06N3/04 ; G06N3/08
摘要：
本发明公开一种神经网络的针对模型并行的动态负载均衡方法，根据不同的模型和系统的相应参数给出切分策略，并在训练过程中进一步迭代更新；根据不同的模型和系统的相应参数，给出对模型网络的切分策略，在训练过程中进一步迭代更新。本发明能够根据不同的模型和系统的相应参数自动给出较好的切分策略，无需手动调整模型，保证计算节点的负载均衡，大大提高了优化效率。
