-
公开(公告)号：CN114386566B
公开(公告)日：2025-02-11
申请号：CN202111479964.5
申请日：2021-12-06
Applicant: 鹏城实验室
Abstract: 本发明公开了一种激活函数安全计算方法和Tanh函数安全计算方法，本发明为了保留原有的Sigmoid函数算法结构，采用随机参数的方式实现安全计算，解决了现有技术中将隐私保护深度学习算法中的Sigmoid函数替换为相应密码学友好的函数进行安全计算，改变了原有的算法结构，导致隐私保护深度学习算法性能变差的问题。
-
公开(公告)号：CN115297008A
公开(公告)日：2022-11-04
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号：CN114218616A
公开(公告)日：2022-03-22
申请号：CN202111362064.2
申请日：2021-11-17
Applicant: 鹏城实验室
IPC: G06F21/71
Abstract: 本发明公开了一种归一化指数函数安全计算方法及系统，本发明提供的归一化指数函数安全计算方法中，根据归一化指数函数的待计算输入序列生成第一输入序列和第二输入序列，并且根据待计算输入序列生成第一输入序列和第二输入序列的公式中可以有多组解，将第一输入序列和第二输入序列分别分给第一计算终端和第二计算终端进行计算，在计算过程中，第一计算终端和第二计算终端之间传输的信息，都是根据随机数运算得到的，从而使得每个计算终端在计算过程中接收到的信息都是随机均匀分布的，计算终端无法根据接收到的信息来倒推得到真实的数据，从而避免了原始数据泄露，保证了数据的安全性。
-
公开(公告)号：CN114218617B
公开(公告)日：2024-06-21
申请号：CN202111362067.6
申请日：2021-11-17
Applicant: 鹏城实验室
Abstract: 本发明公开了一种交叉熵损失函数安全计算方法及系统，其中，上述方法包括：根据需要进行计算的输入概率分布序列生成第一概率输入序列和第二概率输入序列；根据需要进行计算的待输入标签序列生成第一标签输入序列和第二标签输入序列。分别使用第一计算终端针对第一概率输入序列和第一标签输入序列进行计算，使用第二计算终端针对第二概率输入序列和第二标签输入序列进行计算，计算过程中引入随机序列组对各数据进行保护，进一步防止数据泄露或隐私泄露，最后将获得的第一目标结果和第二目标结果相加则可以消除随机序列组的影响，获得实际的计算结果。计算过程中的数据是经过随机序列组保护后的数据，有利于提高交叉熵损失函数计算的安全性。
-
公开(公告)号：CN115964947A
公开(公告)日：2023-04-14
申请号：CN202211704600.7
申请日：2022-12-29
Applicant: 鹏城实验室
IPC: G06F30/27 , G06F9/50 , G06F111/04
Abstract: 本发明公开了基于多面体模型建模的自动并行策略搜索方法及相关设备，所述方法包括：根据每两个客户端的智算网络的智算中心资源，以最优的并行策略作为约束条件，分别对该两个客户端上的编解码架构模型进行分配；控制该两个客户端利用所有经过分配后的编解码架构模型，对所述智算中心资源进行协同训练和聚合操作，计算得到多面体模型的梯度值。通过先根据每两个客户端的智算网络的智算中心资源，对各自的编解码架构模型进行不同的分配，再利用经过分配后的编解码架构模型对所述智算中心资源进行协同训练和聚合操作，以便计算得到梯度值，从而实现根据不同算力分布、数据分布、以及不同业务场景进行分配，使得满足多种业务场景，实现大模型训练在智算网络中的规模化扩展。
-
Patent Agency Ranking
公开(公告)号：CN114781651A
公开(公告)日：2022-07-22
申请号：CN202210565539.6
申请日：2022-05-23
Applicant: 清华大学深圳国际研究生院 , 鹏城实验室
IPC: G06N20/00 , G06F40/30 , G06F40/242 , G06F40/166
Abstract: 本发明公开了一种基于对比学习的小样本学习鲁棒性提升方法，包括以下步骤：S1、对原始数据集进行预处理，构造对抗数据集和对比数据集；S2、将原始数据集、对抗数据集和对比数据集分别输入预训练语言模型中，得到相应的嵌入表示，并使用对比学习损失函数计算三种嵌入表示之间的距离；S3、根据对比学习损失函数与原模型的损失函数计算模型更新的梯度，以总体损失更小为目标来训练模型。本发明通过构造对抗和对比数据集为模型鲁棒性学习提供数据支持，使用对比学习目标函数计算损失能够更好地获取原始样本与对抗样本的相似性，也能更好地区分原始样本与对比样本的差异，从而提升模型受到对抗或者对比扰动时的鲁棒性。
-
公开(公告)号：CN113902522A
公开(公告)日：2022-01-07
申请号：CN202111152619.0
申请日：2021-09-29
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于图神经网络的专利推荐方法及终端，所述方法包括：获取机构信息和专利信息，根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱；根据所述机构与专利关系的知识图谱，基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表，基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取，经过编码及转化处理为图神经网络的图数据样本，利用图神经网络实现节点的图嵌入，采用预训练加微调的机制，经过推荐模型实现需求机构与待售专利之间的匹配，提高推荐质量。
-
公开(公告)号：CN114781651B
公开(公告)日：2024-12-24
申请号：CN202210565539.6
申请日：2022-05-23
Applicant: 清华大学深圳国际研究生院 , 鹏城实验室
IPC: G06N20/00 , G06F40/30 , G06F40/242 , G06F40/166
Abstract: 本发明公开了一种基于对比学习的小样本学习鲁棒性提升方法，包括以下步骤：S1、对原始数据集进行预处理，构造对抗数据集和对比数据集；S2、将原始数据集、对抗数据集和对比数据集分别输入预训练语言模型中，得到相应的嵌入表示，并使用对比学习损失函数计算三种嵌入表示之间的距离；S3、根据对比学习损失函数与原模型的损失函数计算模型更新的梯度，以总体损失更小为目标来训练模型。本发明通过构造对抗和对比数据集为模型鲁棒性学习提供数据支持，使用对比学习目标函数计算损失能够更好地获取原始样本与对抗样本的相似性，也能更好地区分原始样本与对比样本的差异，从而提升模型受到对抗或者对比扰动时的鲁棒性。
-
公开(公告)号：CN113902522B
公开(公告)日：2024-08-27
申请号：CN202111152619.0
申请日：2021-09-29
Applicant: 鹏城实验室
IPC: G06Q30/0601 , G06Q50/18 , G06N3/042 , G06N3/08
Abstract: 本发明公开了一种基于图神经网络的专利推荐方法及终端，所述方法包括：获取机构信息和专利信息，根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱；根据所述机构与专利关系的知识图谱，基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表，基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取，经过编码及转化处理为图神经网络的图数据样本，利用图神经网络实现节点的图嵌入，采用预训练加微调的机制，经过推荐模型实现需求机构与待售专利之间的匹配，提高推荐质量。
-
公开(公告)号：CN115297008B
公开(公告)日：2023-08-22
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
IPC: H04L41/14 , G06F18/214 , G06F18/25 , G06N5/04
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
-
-
-
-
-
-
-
-
Search Results
18
records
(took 0.017 seconds)
