-
公开(公告)号：CN118014036A
公开(公告)日：2024-05-10
申请号：CN202410051646.6
申请日：2024-01-12
Applicant: 北京交通大学
IPC: G06N3/08 , G06N3/084 , G06N3/0464
Abstract: 本发明提供了一种基于数据并行的少量梯度传输神经网络训练方法。该方法包括：主卡发送给每个工作卡一份神经网络模型参数M；工作卡Di利用神经网络模型参数M对小批次数据bi采用基于非线性变换的方法生成特征图，利用特征图计算出梯度Gi，工作卡Di将梯度Gi发送给主卡；主卡将各个工作卡Di发送过来的梯度Gi进行聚合处理，得到平均梯度#imgabs0#根据平均梯度#imgabs1#更新其神经网络模型参数，将更新后的神经网络模型参数M’发送给各个工作卡Di，各个工作卡Di根据接收到的神经网络模型参数M’对其神经网络模型参数进行更新。本发明使用基于非线性变换生成特征图的方式对模型进行改进，减少模型训练过程中卡与卡之间的参数传输。
Search Results
1
records
(took 0.015 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
