-
公开(公告)号：CN115964947A
公开(公告)日：2023-04-14
申请号：CN202211704600.7
申请日：2022-12-29
申请人： 鹏城实验室
IPC分类号： G06F30/27 , G06F9/50 , G06F111/04
摘要： 本发明公开了基于多面体模型建模的自动并行策略搜索方法及相关设备，所述方法包括：根据每两个客户端的智算网络的智算中心资源，以最优的并行策略作为约束条件，分别对该两个客户端上的编解码架构模型进行分配；控制该两个客户端利用所有经过分配后的编解码架构模型，对所述智算中心资源进行协同训练和聚合操作，计算得到多面体模型的梯度值。通过先根据每两个客户端的智算网络的智算中心资源，对各自的编解码架构模型进行不同的分配，再利用经过分配后的编解码架构模型对所述智算中心资源进行协同训练和聚合操作，以便计算得到梯度值，从而实现根据不同算力分布、数据分布、以及不同业务场景进行分配，使得满足多种业务场景，实现大模型训练在智算网络中的规模化扩展。
-
公开(公告)号：CN115297008A
公开(公告)日：2022-11-04
申请号：CN202210793410.0
申请日：2022-07-07
申请人： 鹏城实验室
摘要： 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号：CN115758064A
公开(公告)日：2023-03-07
申请号：CN202211288739.8
申请日：2022-10-20
申请人： 鹏城实验室
摘要： 本发明公开了基于高斯过程回归的数据隐私保护方法及相关设备，包括：获取训练数据和测试数据；计算协方差矩阵，根据训练数据进行高斯过程回归的训练；生成指数随机数，通过秘密分享技术，根据指数随机数在高斯整数环上进行指数计算；根据乔利斯基分解法将高斯过程回归中的正定矩阵进行分解，通过秘密分享技术，在高斯整数环上对分解后的正定矩阵进行求逆，构建高斯过程回归模型；根据高斯过程回归模型对测试数据进行预测。可以在不泄露输入矩阵隐私的前提下，提高指数运算的效率，实现安全求逆。
-
公开(公告)号：CN115422562A
公开(公告)日：2022-12-02
申请号：CN202210999123.5
申请日：2022-08-19
申请人： 鹏城实验室
摘要： 本发明所提供的一种联邦学习多方梯度的编码域聚合方法及系统，所述联邦学习多方梯度的编码域聚合方法包括：多个联邦参与终端分别将各自的本地数据集转化为量化梯度，并将所述量化梯度输入预训练编码器，得到编码梯度；服务器获取每个联邦参与终端对应的所述编码梯度，将所有编码梯度聚合，得到聚合结果，并将所述聚合结果输入预训练解码器，得到解码梯度；服务器根据所述解码梯度更新联邦学习模型，并将更新后的联邦学习模型发送至各个联邦参与终端。本发明通过多个联邦参与终端均使用预训练编码器各自计算得到编码梯度，使得通信时只需要通信编码梯度，服务器把编码梯度加起来用预训练解码器聚合结果，降低了计算代价和通信负担。
-
公开(公告)号：CN115297008B
公开(公告)日：2023-08-22
申请号：CN202210793410.0
申请日：2022-07-07
申请人： 鹏城实验室
IPC分类号： H04L41/14 , G06F18/214 , G06F18/25 , G06N5/04
摘要： 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
-
-
-
搜索结果
5 条记录 (耗时 0.019 秒)