公开(公告)号：CN113516227B

公开(公告)日：2023-04-18

申请号：CN202110639374.8

申请日：2021-06-08

申请人： 华为技术有限公司

发明人： 许奕星 ,  陈汉亭 ,  王云鹤

IPC分类号： G06N3/0464 ,  G06N3/047 ,  G06N3/098 ,  G06F18/241

摘要： 本申请公开了一种基于联邦学习的神经网络训练方法及设备，可应用于人工智能领域中，包括：构建包括第一损失函数和第二损失函数的目标损失函数，第一损失函数用于表征对输入神经网络的有标签数据预测错误的概率，第二损失函数用于表征对输入神经网络的无标签数据进行预测得到的预测结果不属于预设分类类别的概率，之后，各客户端利用目标损失函数各自采用本地训练集(每个本地训练集均包括有标签数据及无标签数据)对本地目标神经网络训练，得到的权重矩阵上传服务器进行整合，整合权重矩阵再发送给各客户端重复训练，直至达到训练终止条件。本申请构建的目标损失函数同时考虑到了各客户端上有标签数据和无标签数据对目标损失函数的贡献。

公开(公告)号：CN115712828A

公开(公告)日：2023-02-24

申请号：CN202110950638.1

申请日：2021-08-18

申请人： 华为技术有限公司

发明人： 舒晗 ,  王家豪 ,  陈汉亭 ,  李文硕 ,  王云鹤

IPC分类号： G06F18/214 ,  G06F18/213 ,  G06F18/241

摘要： 本申请提供一种图像分类方法及其相关设备，该方法包括：在获取目标图像后，transformer网络可基于目标图像进行线性变换处理，得到Q特征、K特征和V特征。接着，transformer网络计算Q特征和K特征之间的距离，从而得到注意力特征。然后，transformer网络将注意力特征和V特征进行融合处理，并基于融合后的特征获取目标图像的分类结果。前述过程中，由于Q特征和K特征之间的距离的计算主要涉及加法运算，故transformer网络获取注意力特征的操作，不再包含大量的乘法运算，而是被计算开销较小的加法运算所代替，可使得transformer网络广泛应用在算力有限的终端设备上。

公开(公告)号：CN112446476A

公开(公告)日：2021-03-05

申请号：CN201910833833.9

申请日：2019-09-04

申请人： 华为技术有限公司

发明人： 许奕星 ,  陈汉亭 ,  韩凯 ,  王云鹤 ,  许春景

IPC分类号： G06N3/063 ,  G06K9/62

摘要： 本申请提供了人工智能领域中的一种神经网络模型压缩的方法，包括：服务器获取用户设备上传的第一神经网络模型和第一神经网络的训练数据；根据第一神经网络的训练数据和服务器存储的未标记数据，得到PU分类器；使用PU分类器，从服务器存储的未标记数据中选择扩展数据，扩展数据具有与第一神经网络模型的训练数据相似属性与分布；根据扩展数据，利用知识蒸馏KD方法训练第二神经网络模型，第一神经网络模型作为教师网络模型，第二神经网络模型作为学生网络模型。采用PU分类器，从未标记数据中选择与第一神经网络模型的训练数据具有相似属性与分布的数据，提高神经网络模型压缩的准确性，避免大量正样本数据的传输。

公开(公告)号：CN111382867A

公开(公告)日：2020-07-07

申请号：CN202010105175.4

申请日：2020-02-20

申请人： 华为技术有限公司

发明人： 舒晗 ,  陈汉亭 ,  王云鹤 ,  许春景

IPC分类号： G06N3/08 ,  G06N3/04 ,  G06F17/14

摘要： 本申请提供一种神经网络压缩的方法、数据处理的方法及相关装置。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：对待压缩的三维卷积神经网络包括的第一三维卷积核执行以下操作：在该第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换；根据正交变换后的该第一三维卷积核在时间维度上的稀疏性，对该第一三维卷积核的时间维度进行剪枝，得到压缩后的三维卷积神经网络。本申请通过在待压缩的三维卷积神经网络的三维卷积核的时间维度上对该三维卷积核进行正交变换，并对正交变换后的三维卷积核的稀疏的时间维度进行剪枝，相对于现有技术，可以进一步减少三维卷积神经网络的参数量与计算量。

公开(公告)号：CN111914997B

公开(公告)日：2024-04-02

申请号：CN202010616988.X

申请日：2020-06-30

申请人： 华为技术有限公司

发明人： 宋德华 ,  王云鹤 ,  陈汉亭 ,  许春景

IPC分类号： G06N3/0464 ,  G06N3/044 ,  G06N3/048 ,  G06N3/084 ,  G06T3/4053 ,  G06T3/4015 ,  G06T3/4046 ,  G06T5/70 ,  G06T5/73

摘要： 本申请涉及人工智能领域中计算机视觉领域的图像处理技术，提供了一种训练神经网络的方法、图像处理方法及装置。该方法涉及人工智能领域，具体涉及计算机视觉领域，该方法包括：获取训练图像的输入特征图；使用神经网络的特征提取核，对所述输入特征图进行特征提取处理，得到第一候选特征图；将所述第一候选特征图与第二候选特征图相加，得到输出特征图，所述第二候选特征图为所述输入特征图中的每个元素对应的数值扩大N倍后得到的特征图，N大于0；根据所述输出特征图确定所述训练图像的图像处理结果；根据所述图像处理结果，调整所述神经网络的参数，该方法可以在不影响图像处理效果的同时，有效降低神经网络模型的能耗。

公开(公告)号：CN110222705B

公开(公告)日：2023-10-24

申请号：CN201910331313.8

申请日：2019-04-23

申请人： 华为技术有限公司

发明人： 陈汉亭 ,  舒晗 ,  王云鹤 ,  许春景

IPC分类号： G06V10/774 ,  G06V10/82 ,  G06V10/74 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0464 ,  G06N3/045

摘要： 本申请公开了一种网络模型的训练方法，可以应用于对网络模型进行训练的服务器中，服务器可以分别获取第一生成网络和第二生成网络，并利用第二生成网络输出的第二转换后图像，对第一生成网络进行迭代训练，由于第二生成网络为执行过训练操作的大型网络，则可以保证执行过训练操作的第三生成网络的图像处理能力较好，且由于第一生成网络的参数量小于第二生成网络，从而第一生成网络占用的内存面积，且运算量较少。

公开(公告)号：CN116912549A

公开(公告)日：2023-10-20

申请号：CN202310553400.4

申请日：2023-05-16

申请人： 华为技术有限公司

发明人： 王许涛 ,  陈汉亭 ,  王云鹤

IPC分类号： G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/045 ,  G06N3/0895 ,  G06N3/0985

摘要： 一种分类模型的训练方法，包括：基于训练后的第一分类模型输出标注样本的倾向得分，倾向得分为标注样本被标注的概率；第一分类模型的训练过程是将标注样本作为正样本，未标注样本作为负样本进行模型训练；确定第二分类模型的第一损失函数，第一损失函数包括标注样本的损失函数和未标注样本的损失函数，标注样本的损失函数的权重与标注样本的倾向得分相关；基于标注样本、未标注样本和第一损失函数,训练第二分类模型。因此，通过倾向得分修改损失函数中该标注样本对应项的权重，可以降低标注样本中的有偏标注的影响，提高了第二分类模型的分类准确率。

公开(公告)号：CN116702858A

公开(公告)日：2023-09-05

申请号：CN202310514419.8

申请日：2023-05-08

申请人： 华为技术有限公司

发明人： 田雨川 ,  陈汉亭 ,  郭天宇 ,  王云鹤

IPC分类号： G06N3/082 ,  G06N3/0464 ,  G06N3/08

摘要： 本申请涉及计算机技术领域，公开了一种模型处理方法、电子设备及介质，模型处理方法包括对训练得到的收敛模型进行权重剪枝得到剪枝模型后，对被剪枝权重中部分影响模型精度的重要权重进行恢复，并将恢复后的重要权重应用到剪枝模型中，以进行模型的再次训练，直至获得收敛后的模型。如此，可以使得在实现压缩模型的同时，实现保证模型的精度。

公开(公告)号：CN114821096A

公开(公告)日：2022-07-29

申请号：CN202210302717.6

申请日：2022-03-25

申请人： 华为技术有限公司

发明人： 李文硕 ,  陈汉亭 ,  郭健元 ,  张子阳 ,  王云鹤

IPC分类号： G06V10/44 ,  G06N3/04 ,  G06N3/08

摘要： 本申请实施例公开一种图像处理方法、神经网络的训练方法以及相关设备，该方法可将人工智能技术应用于图像处理领域中，方法包括：通过第一神经网络对待处理图像进行特征提取，得到待处理图像的特征信息；前述通过第一神经网络对待处理图像进行特征提取，包括：获取待处理图像所对应的第一特征信息，待处理图像包括多个图像块，第一特征信息包括图像块的特征信息；将至少两组图像块的特征信息依次输入LIF模块，得到LIF模块生成的目标数据；根据目标数据，获取待处理图像包括图像块的更新后的特征信息。实现了通过LIF模块对单个的图像进行特征提取，进而能够实现将LIF模块应用于执行主流的通用视觉任务。

公开(公告)号：CN113065635A

公开(公告)日：2021-07-02

申请号：CN202110221444.8

申请日：2021-02-27

申请人： 华为技术有限公司

发明人： 张依曼 ,  陈汉亭 ,  陈醒濠 ,  王云鹤 ,  许春景

IPC分类号： G06N3/04 ,  G06N3/08 ,  G06T3/40 ,  G06T5/00

摘要： 本申请实施例公开了一种模型的训练方法、图像增强方法及设备，可应用于人工智能领域中的图像处理领域，具体可用于超分辨率重建任务，该方法针对由生成网络、教师网络、学生网络构成的模型重新构建了一套损失函数，用于提升生成网络和学生网络的训练效果。在提升生成网络训练效果方面，基于超分辨重建任务的特性(即超分辨图像具有低分辨图像的所有信息，并包含更多细节信息)，针对超分辨重建任务构建了一种训练生成网络的损失函数，提升了模型在超分辨重建任务上的训练效果；在提升学生网络训练效果方面，由于无数据的知识蒸馏十分困难，为了降低蒸馏难度，采用渐进蒸馏方式训练学生网络，直至训练完整个学生网络，降低了蒸馏难度。