-
公开(公告)号：CN117112145B
公开(公告)日：2024-02-13
申请号：CN202311336127.6
申请日：2023-10-16
Applicant: 之江实验室
IPC: G06F9/455 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种训练模型分配方法、装置、计算机设备和存储介质。所述方法包括：获取待训练模型的模型信息和训练数据集；将训练模型根据层级信息划分为至少两个子模型，并将各子模型分配至训练集群中各机器节点；将各子模型根据计算参数信息划分为至少两个子模型切片，并将各子模型切片分配至训练集群中各机器节点的各计算处理器；将训练数据集根据计算参数信息划分为至少两个训练子数据集，并将各训练子数据集分配至训练集群中各计算处理器；根据训练集群中所有计算处理器，以及所有计算处理器对应的子模型切片和训练数据子集，对待训练模型进行训练。采用本申请的方法能够提高模型训练效率。
-
公开(公告)号：CN117093871A
公开(公告)日：2023-11-21
申请号：CN202311335992.9
申请日：2023-10-16
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/20 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种面向深度学习分布式训练测评方法和系统，其中，面向深度学习分布式训练测评方法包括：对各所述分布式神经网络模型分别进行训练，获得对应的第一性能指标；并基于各所述第一性能指标，调整各所述分布式神经网络模型的所述分布式优化算法、所述分布式策略并行度以及所述训练参数，以进行优化训练，得到对应的第二性能指标；基于各所述第二性能指标，确定最优分布式神经网络模型。本发明使用指标量化评估各分布式神经网络模型计算的性能，并基于评估指标进一步进行优化训练，提高了各分布式神经网络模型计算的性能，通过优化后的指标，获得最优分布式神经网络模型，帮助技术人员高效部署分布式神经网络模型。
-
公开(公告)号：CN117112145A
公开(公告)日：2023-11-24
申请号：CN202311336127.6
申请日：2023-10-16
Applicant: 之江实验室
IPC: G06F9/455 , G06F18/214 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种训练模型分配方法、装置、计算机设备和存储介质。所述方法包括：获取待训练模型的模型信息和训练数据集；将训练模型根据层级信息划分为至少两个子模型，并将各子模型分配至训练集群中各机器节点；将各子模型根据计算参数信息划分为至少两个子模型切片，并将各子模型切片分配至训练集群中各机器节点的各计算处理器；将训练数据集根据计算参数信息划分为至少两个训练子数据集，并将各训练子数据集分配至训练集群中各计算处理器；根据训练集群中所有计算处理器，以及所有计算处理器对应的子模型切片和训练数据子集，对待训练模型进行训练。采用本申请的方法能够提高模型训练效率。
-
公开(公告)号：CN117093871B
公开(公告)日：2024-02-13
申请号：CN202311335992.9
申请日：2023-10-16
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/20 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及一种面向深度学习分布式训练测评方法和系统，其中，面向深度学习分布式训练测评方法包括：对各所述分布式神经网络模型分别进行训练，获得对应的第一性能指标；并基于各所述第一性能指标，调整各所述分布式神经网络模型的所述分布式优化算法、所述分布式策略并行度以及所述训练参数，以进行优化训练，得到对应的第二性能指标；基于各所述第二性能指标，确定最优分布式神经网络模型。本发明使用指标量化评估各分布式神经网络模型计算的性能，并基于评估指标进一步进行优化训练，提高了各分布式神经网络模型计算的性能，通过优化后的指标，获得最优分布式神经网络模型，帮助技术人员高效部署分布式神经网络模型。(56)对比文件Wang Fangyu 等.Research on imblanceddata set preprocessing based on deeplearning《.2021 Asia-Pacific Conference onCommunications Technology and ComputerScience(ACCTCS)》.2021,第75-79页.
-
-
-
Search Results
4
records
(took 0.014 seconds)
