-
公开(公告)号：CN114282587A
公开(公告)日：2022-04-05
申请号：CN202111034264.5
申请日：2021-09-03
申请人： 北京大学 , 腾讯科技(深圳)有限公司
摘要： 本申请公开了一种数据处理方法、装置、计算机设备及存储介质，属于计算机技术领域。本申请通过在图神经网络的调参过程中，确定每个标注节点的冲突水平参数，以衡量每个标注节点的拓扑位置，并在冲突水平参数的基础上，为每个标注节点分配自身的目标权重，将这一目标权重投入到调参过程中，以调节处于不同拓扑位置的不同标注节点各自在调参过程中产生的影响，如为拓扑位置靠近类别中心的标注节点分配较大目标权重，为拓扑位置靠近类别边界的标注节点分类较小权重，从而能够改善由于图神经网络普遍存在的类别不均衡现象，提高图神经网络的识别准确度。
-
公开(公告)号：CN114330510A
公开(公告)日：2022-04-12
申请号：CN202111511703.7
申请日：2021-12-06
申请人： 北京大学 , 腾讯科技(深圳)有限公司
摘要： 本申请实施例公开了一种模型训练方法、装置、电子设备和存储介质，该方法涉及人工智能领域中的深度学习方向，包括：获取教师模型和学生模型；获取第一预测结果，第一预测结果由教师模型对样本数据集中的样本数据进行预测得到；获取教师模型对第一预测结果的可信度，可信度用于表征第一预测结果的可信程度；根据可信度更新第一预测结果，将更新后的第一预测结果作为第二预测结果；获取第二预测结果与学生模型预测样本数据的结果之间的差异；基于差异，更新学生模型的参数，以训练学生模型。本申请实施例通过教师模型对样本数据预测的可信度，能够准确地确定出样本数据对应的标签，以提升对学生模型的训练效果和效率。
-
公开(公告)号：CN114330510B
公开(公告)日：2024-06-25
申请号：CN202111511703.7
申请日：2021-12-06
申请人： 北京大学 , 腾讯科技(深圳)有限公司
摘要： 本申请实施例公开了一种模型训练方法、装置、电子设备和存储介质，该方法涉及人工智能领域中的深度学习方向，包括：获取教师模型和学生模型；获取第一预测结果，第一预测结果由教师模型对样本数据集中的样本数据进行预测得到；获取教师模型对第一预测结果的可信度，可信度用于表征第一预测结果的可信程度；根据可信度更新第一预测结果，将更新后的第一预测结果作为第二预测结果；获取第二预测结果与学生模型预测样本数据的结果之间的差异；基于差异，更新学生模型的参数，以训练学生模型。本申请实施例通过教师模型对样本数据预测的可信度，能够准确地确定出样本数据对应的标签，以提升对学生模型的训练效果和效率。
-
公开(公告)号：CN107273975A
公开(公告)日：2017-10-20
申请号：CN201710453252.3
申请日：2017-06-15
申请人： 北京大学
IPC分类号： G06N3/08
CPC分类号： G06N3/08
摘要： 本发明公布了一种神经网络模型的稀疏化后向传播训练方法，在后向传播过程中，通过基于K大值的稀疏化处理，减少更新与实例相关度低的信息，提高深度神经网络的训练速度和训练效果；在后向传播过程中，首先对输出梯度进行K大值稀疏化处理，利用稀疏化处理后的向量进行梯度计算，得到参数的稀疏化梯度；当神经网络有多层时，本层的输入向量x即为下层的输出向量，输入向量x的梯度可作为下一层的输出结果梯度传递下去。本发明通过减少更新与实例相关度低的信息来提高神经网络的训练速度和训练效果。
-
公开(公告)号：CN107832847A
公开(公告)日：2018-03-23
申请号：CN201711012694.0
申请日：2017-10-26
申请人： 北京大学
IPC分类号： G06N3/08
摘要： 本发明公布了一种神经网络模型的稀疏化后向传播压缩方法，属于信息技术领域，涉及机器学习和深度学习技术。在后向传播过程中，神经网络模型的每层利用上一层的输出梯度作为输入计算梯度，进行k大值稀疏化处理，得到稀疏化处理后的向量和稀疏回传的次数，记录k个值对应的索引；利用稀疏化梯度对神经网络的参数进行更新；根据k大值下标索引，删除回传次数少的神经元，对模型进行压缩。本发明在后向传播过程中采用基于k大值的稀疏化方法，通过消除不活跃的神经元，压缩模型大小，提高深度神经网络的训练和推理速度，并保持良好的精度。
-
-
-
-
搜索结果
5 条记录 (耗时 0.032 秒)