-
公开(公告)号:CN113515770B
公开(公告)日:2024-06-18
申请号:CN202010626329.4
申请日:2020-04-10
申请人: 支付宝(杭州)信息技术有限公司
发明人: 熊涛
摘要: 本说明书实施例提供一种基于隐私保护确定目标业务模型的方法和装置,先对选定的复杂业务模型进行初始训练,得到初始业务模型,然后对初始业务模型进行修剪,并对修剪后的业务模型进行训练,得到相应模型指标。对于得到的多个子模型,通过差分隐私的指数机制,利用相应模型指标确定各个业务模型分别对应的各个采样概率,并基于采样概率对多个子模型进行采样,从而选择目标业务模型。这样,可以利用差分隐私方式获取隐私保护的压缩模型,在实现模型压缩的基础上,为模型提供隐私保护。
-
公开(公告)号:CN113536383B
公开(公告)日:2023-10-27
申请号:CN202110957071.0
申请日:2021-01-27
申请人: 支付宝(杭州)信息技术有限公司
发明人: 熊涛
IPC分类号: G06F21/62 , G06F18/2415 , G06N3/04 , G06N3/084
摘要: 本说明书实施例提供一种基于隐私保护训练图神经网络的方法和装置,该方法包括,首先获取原始关系网络图,图中任意的第一节点具有对应的邻居节点集。对于该邻居节点集中任意的第二节点,将该第二节点的节点信息,第一节点的节点信息,第二节点与第一节点的连接信息输入多层神经网络,得到该第二节点与第一节点的匹配度。然后,根据邻居节点集中各个邻居节点分别对应的匹配度,对该邻居节点集进行采样,得到第一节点的采样邻居节点集。接着,基于原图中各个节点各自对应的采样邻居节点集,形成稀疏关系网络图。于是,基于该稀疏关系网络图,训练图神经网络。
-
公开(公告)号:CN112559640B
公开(公告)日:2023-06-06
申请号:CN202011409591.X
申请日:2020-12-06
申请人: 支付宝(杭州)信息技术有限公司
IPC分类号: G06F16/36 , G06F18/22 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/047 , G06N3/084
摘要: 本说明书实施例提供一种图谱表征系统的训练方法,该图谱表征系统包括图神经网络、多个节点级学习向量、多个中间级学习向量和多个图谱级学习向量。该方法包括:先获取第一训练样本,其中包含对应的两个关系图谱和相似度标签值,任一的第一关系图谱包括多个对象节点;接着,利用图神经网络对第一关系图谱进行图嵌入处理,得到多个对象节点嵌入向量;然后,基于该多个对象节点嵌入向量,依次利用节点相似记忆组件、节点‑图谱相似记忆组件和图谱相似记忆组件,提取不同尺度的信息,从而得到第一关系图谱的绝对化的图谱表征向量;再接着,计算对应两个关系图谱的两个图谱表征向量之间的相似度预测值,并结合相似度标签值,训练上述图谱表征系统。
-
公开(公告)号:CN112541129B
公开(公告)日:2023-05-23
申请号:CN202011409575.0
申请日:2020-12-06
申请人: 支付宝(杭州)信息技术有限公司
IPC分类号: G06F16/9536 , G06N3/042 , G06N3/0464 , G06N3/08 , G06F18/24 , G06Q40/04
摘要: 本说明书实施例提供一种处理交互事件的方法及装置,在处理方法中,获取新增交互事件。在已有动态交互图中,确定出新增交互事件对应的两个目标节点,并建立新增连接边。至少对两个目标节点的节点信息进行融合,得到事件交互信息。根据两个目标节点各自所在最近历史交互事件与新增交互事件的交互时间差,以及事件交互信息,分别更新两个目标节点各自的隐含向量。确定各阶邻居节点。针对各阶邻居节点中任意的第一邻居节点,基于其所在最近历史交互事件与新增交互事件的交互时间差、第一邻居节点与对应目标节点的第一距离,以及两个目标节点各自的更新的隐含向量,确定对应于第一邻居节点的传播信息。根据传播信息,更新第一邻居节点的隐含向量。
-
公开(公告)号:CN112541575B
公开(公告)日:2023-03-10
申请号:CN202011409587.3
申请日:2020-12-06
申请人: 支付宝(杭州)信息技术有限公司
IPC分类号: G06N3/084 , G06N3/0464 , G06N3/048 , G06F18/2415
摘要: 本说明书实施例提供一种图神经网络的训练方法,包括:获取原始关系网络图,其中包括对应多个业务对象的多个对象节点,以及对象节点之间存在关联关系而形成的原始连接边;在该原始关系网络图中添加若干记忆节点,并在每个记忆节点和每个对象节点之间建立新增连接边,得到扩张关系网络图,用于对图神经网络进行多轮迭代更新,其中任一轮包括:利用图神经网络对扩张关系网络图进行图嵌入处理,在多个图神经网络隐层中的任一隐层,对上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量进行聚合,得到本隐层输出的第一对象隐向量;根据最后一个隐层输出的第一对象隐向量以及第一对象节点的业务标签,对图神经网络进行本轮更新。
-
公开(公告)号:CN114091669A
公开(公告)日:2022-02-25
申请号:CN202111397085.8
申请日:2021-11-23
申请人: 支付宝(杭州)信息技术有限公司
摘要: 本说明书一个或多个实施例提供一种基于事件的图神经网络训练方法及装置。方法包括:确定目标时段内发生的目标事件,针对每个目标事件,确定所述目标事件的事发时间以及参与所述目标事件的涉事对象;针对参与所述目标事件的每个涉事对象,基于所述目标时段内发生在所述事发时间之前的目标事件,生成所述涉事对象在所述事发时间的事件图;基于涉事对象、事发时间以及所述涉事对象在所述事发时间的事件图,确定所述目标事件下所述涉事对象的事件三元组,得到各个目标事件下涉事对象的事件三元组;采用各个目标事件下涉事对象的事件三元组训练图神经网络。
-
公开(公告)号:CN113515770A
公开(公告)日:2021-10-19
申请号:CN202010626329.4
申请日:2020-04-10
申请人: 支付宝(杭州)信息技术有限公司
发明人: 熊涛
摘要: 本说明书实施例提供一种基于隐私保护确定目标业务模型的方法和装置,先对选定的复杂业务模型进行初始训练,得到初始业务模型,然后对初始业务模型进行修剪,并对修剪后的业务模型进行训练,得到相应模型指标。对于得到的多个子模型,通过差分隐私的指数机制,利用相应模型指标确定各个业务模型分别对应的各个采样概率,并基于采样概率对多个子模型进行采样,从而选择目标业务模型。这样,可以利用差分隐私方式获取隐私保护的压缩模型,在实现模型压缩的基础上,为模型提供隐私保护。
-
公开(公告)号:CN112100642B
公开(公告)日:2021-06-04
申请号:CN202011269094.4
申请日:2020-11-13
申请人: 支付宝(杭州)信息技术有限公司
发明人: 熊涛
摘要: 本说明书实施例提供一种在分布式系统中保护隐私的模型训练方法和装置,上述分布式系统至少包括多个数据平台,方法可以由任意数据平台执行,并包括以下步骤。首先利用本地样本集训练业务预测模型,得到各权重参数的浮点数值;然后利用第一随机化算法,将各权重参数的浮点数值分别转换为二进制比特值,得到第一比特串;接着,利用第二随机化算法,对第一比特串中各个位置的比特值进行随机翻转,得到第二比特串。于是,可以提供第二比特串,作为业务预测模型的各权重参数的本地化训练结果。
-
公开(公告)号:CN112100642A
公开(公告)日:2020-12-18
申请号:CN202011269094.4
申请日:2020-11-13
申请人: 支付宝(杭州)信息技术有限公司
发明人: 熊涛
摘要: 本说明书实施例提供一种在分布式系统中保护隐私的模型训练方法和装置,上述分布式系统至少包括多个数据平台,方法可以由任意数据平台执行,并包括以下步骤。首先利用本地样本集训练业务预测模型,得到各权重参数的浮点数值;然后利用第一随机化算法,将各权重参数的浮点数值分别转换为二进制比特值,得到第一比特串;接着,利用第二随机化算法,对第一比特串中各个位置的比特值进行随机翻转,得到第二比特串。于是,可以提供第二比特串,作为业务预测模型的各权重参数的本地化训练结果。
-
公开(公告)号:CN111523668A
公开(公告)日:2020-08-11
申请号:CN202010373419.7
申请日:2020-05-06
申请人: 支付宝(杭州)信息技术有限公司
发明人: 熊涛
摘要: 本说明书实施例提供一种基于差分隐私的数据生成系统的训练方法和装置,该数据生成系统包括自编码网络和判别器,方法包括,将真实样本输入自编码网络,得到复原样本;根据真实样本和复原样本的比对,确定样本重构损失。此外,通过自编码网络生成合成样本。将真实样本和合成样本分别输入判别器,得到其分别属于真实样本的第一概率和第二概率。针对判别器,以减小第一损失为目标,以差分隐私的方式在梯度上添加噪声,以调整判别器参数,其中第一损失负相关于第一概率,正相关于第二概率。针对自编码网络,以减小第二损失为目标,在梯度上添加噪声,以调整自编码网络参数,其中第二损失与样本重构损失正相关,与第一损失负相关。
-
-
-
-
-
-
-
-
-