公开(公告)号：CN114443658A

公开(公告)日：2022-05-06

申请号：CN202210088857.8

申请日：2022-01-25

申请人： 北京沃东天骏信息技术有限公司 ,  北京京东世纪贸易有限公司

发明人： 邢召龙 ,  刘近光 ,  王文生 ,  张克丰 ,  包勇军 ,  刘倩欣 ,  张林 ,  贺旭 ,  熊俊

IPC分类号： G06F16/22 ,  G06F16/23 ,  G06F16/2455

摘要： 本公开涉及计算机技术领域，提供了一种数据处理方法、数据处理装置、计算机存储介质、电子设备，应用于数据分片终端，所述数据分片终端与多个参数服务器通信连接，所述参数服务器用于维护待存储数据，其中，数据处理方法包括：按照预设分片数目将待存储数据划分为带有分片序号的多个分片；根据所述预设分片数目和所述参数服务器的数目，确定分配至各所述参数服务器的分片序号，以使各所述参数服务器加载所述分片序号对应的分片，并为所述分片创建索引。本公开能够在参数服务器数目变更时，避免数据重分片操作，提高数据的加载效率，从而提升模型训练和模型上线的效率。

公开(公告)号：CN116739078A

公开(公告)日：2023-09-12

申请号：CN202210194494.6

申请日：2022-03-01

申请人： 北京沃东天骏信息技术有限公司 ,  北京京东世纪贸易有限公司

发明人： 贺旭 ,  王文生 ,  张克丰 ,  包勇军 ,  刘近光 ,  邢召龙 ,  郭沛松 ,  刘倩欣

IPC分类号： G06N3/098 ,  G06N3/084 ,  G06F9/54

摘要： 本公开提供一种模型训练方法及装置、系统、电子设备；涉及深度学习技术领域。该方法包括：获取与当前批次的训练样本对应的当前第一模型参数；获取与当前批次的训练样本对应的当前第二模型参数；对当前第一模型参数和所述当前第二模型参数进行迭代训练，以获得第一模型参数梯度和第二模型参数梯度；发送第一模型参数梯度给对应的参数服务器，以使参数服务器更新当前第一模型参数；将第二模型参数梯度同步至其他工作服务器，以使每个工作服务器本地更新当前第二模型参数。本公开可以解决现有技术中由于梯度失效导致的训练模型预测精度低，及模型训练耗时长的问题。

公开(公告)号：CN114997416A

公开(公告)日：2022-09-02

申请号：CN202210596830.X

申请日：2022-05-30

申请人： 北京沃东天骏信息技术有限公司 ,  北京京东世纪贸易有限公司

发明人： 邱彩云 ,  包勇军 ,  王文生 ,  张克丰 ,  原武军 ,  贺旭 ,  邢召龙 ,  刘倩欣 ,  刘近光

IPC分类号： G06N20/00 ,  G06F9/50 ,  G06F9/54

摘要： 本发明公开了一种深度学习模型的训练方法和训练单机，涉及深度学习技术领域。该方法的一具体实施方式包括：读取训练样本，从训练单机本地内存获取稀疏参数，从第一训练器本地获取稠密参数；训练单机上的第一训练器和各个第二训练器共享训练单机本地内存中的稀疏参数；在正向传播过程中根据稠密参数和稀疏参数计算损失值，在反向传播过程中得到稠密参数梯度和稀疏参数梯度；与其他训练器进行稠密参数梯度和稀疏参数梯度的同步，计算出最终的稠密参数梯度和最终的稀疏参数梯度；基于最终的稠密参数梯度更新第一训练器本地的稠密参数，基于最终的稀疏参数梯度更新训练单机本地内存的稀疏参数。该实施方式能够解决内存不足和参数梯度失效的技术问题。

公开(公告)号：CN112348197A

公开(公告)日：2021-02-09

申请号：CN202010622796.X

申请日：2020-07-01

申请人： 北京沃东天骏信息技术有限公司

发明人： 杜宝坤 ,  魏艳伟 ,  牛文杰 ,  黄薇 ,  贺京健 ,  王建领 ,  贺旭 ,  刘嵩 ,  张波 ,  支荣 ,  李开荣 ,  戴移胜

IPC分类号： G06N20/00 ,  G06F9/455 ,  G06F21/60 ,  H04L1/16 ,  H04L1/18

摘要： 本申请公开了一种基于联邦学习的模型生成方法及装置。方法的一具体实施方式包括：对获取的多方用户的数据，进行数据拼接，得到拼接数据；根据多方用户的预设合作协议，对多方用户进行资源配置；以拼接数据作为输入数据，对基于所配置的资源构建的多方用户的初始模型进行分布式训练，得到目标模型。本实施方式通过多方用户的数据训练得到优质的目标模型，提高了目标模型的准确性；而且，多方用户不必交换数据，保证了多方用户的数据安全。