-
公开(公告)号：CN118839740A
公开(公告)日：2024-10-25
申请号：CN202310470198.9
申请日：2023-04-25
申请人： 华为技术有限公司
IPC分类号： G06N3/082 , G06N3/0464
摘要： 一种神经网络的剪枝方法、数据处理方法及装置，涉及深度学习领域，用以提供一种平衡推理性能和准确率的剪枝方式。本申请提供一种互补稀疏方式，权重张量中每K个M长的剪枝向量拼接为一个数据块(或者向量)，经过稀疏后，一个剪枝向量中非零元素所在的位置，在该剪枝向量所属的数据块中的其它剪枝向量在该位置为零元素。相比采用单通道或者按块稀疏方式，本申请实施例采用更小的粒度来稀疏，可以提高网络模型的应用的准确度。相比采用任意稀疏方式来说，按照互补的方式来进行稀疏，在推理阶段无需采用稠密计算，减少了模型的计算量。本申请实施例提供的方案能够在准确度和加速上进行平衡。
-
公开(公告)号：CN112446888B
公开(公告)日：2024-09-13
申请号：CN201910845625.0
申请日：2019-09-02
申请人： 华为技术有限公司
摘要： 本申请涉及人工智能领域中的图像分割技术，提供了图像分割模型的处理方法和处理装置。所述图像分割模型包括特征提取子模型和图像分割子模型，特征提取子模型用于提取图像的特征，图像分割子模型用于根据所述提取的特征对所述图像进行分割。所述处理方法包括：对所述特征提取子模型进行层宽调整，以得到第一特征提取子模型；根据第一特征提取子模型和图像分割子模型得到目标图像分割模型。本申请提供图像分割模型的处理方法和处理装置，有助于提高图像分割模型的分割精度，从而有助于在边缘设备上实现图像分割技术。
-
公开(公告)号：CN111382868B
公开(公告)日：2024-06-18
申请号：CN202010109054.7
申请日：2020-02-21
申请人： 华为技术有限公司
摘要： 本申请提供利用人工智能技术进行神经网络结构搜索的方法和装置。本申请的技术方案中，根据给定搜索空间和目标设备的资源约束条件来训练采样模型，以使得该采样模型从该给定搜索空间中采样得到满足该资源约束条件的神经网络结构，然后使用该采样模型从该采样模型从该给定搜索空间中采样得到的候选搜索空间，并搜索目标神经网络结构，该技术方案可以保证搜索得到满足目标设备的资源约束条件的神经网络，从而可以提高神经网络结构的搜索效率。此外，本申请还提出了先搜索神经网络结构的关键层，再搜索神经网络结构的非关键层的技术方案，不仅可以搜索得到更优的神经网络结构，还可以进一步提高神经网络结构的搜索效率。
-
公开(公告)号：CN111382839B
公开(公告)日：2024-05-07
申请号：CN202010109980.4
申请日：2020-02-23
申请人： 华为技术有限公司
IPC分类号： G06N3/082 , G06N3/0464 , G06N3/0455 , G06V10/82 , G06V10/26 , G06V20/70 , G06V10/764
摘要： 本申请提供了人工智能领域中一种剪枝神经网络的方法，包括：根据目标神经网络的参数去除比例确定第一剪枝阈值，所述第一剪枝阈值用于剪枝目标神经网络中的第一子网络；根据所述目标神经网络的参数去除比例确定第二剪枝阈值，所述第二剪枝阈值用于剪枝所述目标神经网络中的第二子网络，所述第二子网络的功能与所述第一子网络的功能不同，其中，所述目标神经网络的参数去除比例与目标设备的资源大小负相关，所述目标设备为剪枝后的所述目标神经网络部署的设备；根据所述第一剪枝阈值和所述第二剪枝阈值对所述目标神经网络进行剪枝。基于不同的剪枝阈值进行剪枝能够减小剪枝处理对多任务神经网络的性能的负面影响。
-
公开(公告)号：CN117933312A
公开(公告)日：2024-04-26
申请号：CN202211249989.0
申请日：2022-10-12
申请人： 华为技术有限公司
IPC分类号： G06N3/0464 , G06N3/082
摘要： 一种模型剪枝方法，应用于人工智能技术领域。在该方法中，通过采用聚类方法将由模型中的权重所构成的权重矩阵进行行重新排序，使得权重矩阵中具有相似分布特征的行(例如权重的值较小的行)被重新排序在一起，然后沿着列的方向对重新排序后的权重矩阵中的元素进行剪枝，能够使得权重矩阵中值较小的元素(即对模型影响较小的权重)被有规律地去除，进而使得在保证模型准确率的同时，有效地降低剪枝得到的模型的推理时延。
-
公开(公告)号：CN117917702A
公开(公告)日：2024-04-23
申请号：CN202211289351.X
申请日：2022-10-20
申请人： 华为技术有限公司
摘要： 本申请实施例公开了一种数据处理方法，该方法应用于文本识别/字符识别场景，该方法包括：获取输入数据，该输入图像为图像数据或音频数据，并根据输入数据的第一模态特征获取第二模态特征，第一模态特征为图像数据的视觉特征或者音频数据的音频特征，第二模态特征为字符特征；再融合第一模态特征与第二模态特征以得到目标特征，可以高效融合不同模态数据的信息，使得获取的目标特征具有多模态数据的特性，提高目标特征的表达能力。从而根据该目标特征获取的第一识别结果的精度更高。且相较于只根据纠正后的第二模态特征确定识别结果的方法，通过再次引入纠正前的第一模态特征，可以减少第二模态特征的过度纠正问题。
-
公开(公告)号：CN117765341A
公开(公告)日：2024-03-26
申请号：CN202211168795.8
申请日：2022-09-24
申请人： 华为技术有限公司
IPC分类号： G06V10/774 , G06V10/42 , G06V10/44 , G06V10/80
摘要： 一种数据处理方法，可以应用于人工智能领域，方法包括：获取第一特征表示和第二特征表示，所述第一特征表示为根据注意力网络通过对图像中的多个图像块中不同图像块之间的信息交互得到；所述第二特征表示为基于注意力机制通过对所述图像块中的多个子图像块中不同子图像块之间的信息交互得到；将所述第一特征表示和所述第二特征表示进行特征融合，得到融合特征表示；根据所述融合特征表示，通过下游任务网络，对所述图像执行目标任务。本申请通过提取图像数据的全局特征和局部细粒度特征，提高了模型整体的精度。
-
公开(公告)号：CN117764190A
公开(公告)日：2024-03-26
申请号：CN202211131266.0
申请日：2022-09-16
申请人： 华为技术有限公司
IPC分类号： G06N20/00 , G06N3/0464 , G06N3/08
摘要： 一种数据处理方法，应用于神经网络的二值化，方法包括：分别通过MLP包括块block中的多个第一处理分支中的每个第一处理分支，处理输入数据，得到多个第一处理结果；其中，每个第一处理分支包括一个或多个全连接层；多个第一处理分支中包括对输入数据在空间维度上进行交互以及对输入数据在通道维度上进行交互的处理分支；输入数据以及多个第一处理分支中的参数为二值化数据。本申请中二值化MLP中block设置多个并行的处理分支，该多个并行的处理分支可以同时对输入数据在空间维度和通道维度上进行信息交互，增加了网络的信息交互复杂度，从而提升了二值化MLP的网络性能。
-
公开(公告)号：CN117474051A
公开(公告)日：2024-01-30
申请号：CN202210836913.1
申请日：2022-07-15
申请人： 华为技术有限公司
IPC分类号： G06N3/0495 , G06N3/0464 , G06N3/048 , G06N3/084
摘要： 本申请用于提供一种二值量化方法、神经网络的训练方法、设备以及存储介质。二值量化方法包括：确定神经网络中的待量化数据；确定所述待量化数据对应的量化参数，所述量化参数包括缩放系数和偏移量；基于所述缩放系数和所述偏移量确定所述待量化数据对应的二值化上限值和二值化下限值；基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化，以将所述待量化数据量化为所述二值化上限值或所述二值化下限值。该方法通过使用一个自适应的缩放系数和偏移量来控制生成二值量化最终的二值集合，将全精度的待量化数据量化到任意二值以灵活地适应不同的数据分布，能够提升二值量化特征的表达能力，进而提升二值神经网络的性能。
-
公开(公告)号：CN117437429A
公开(公告)日：2024-01-23
申请号：CN202210836705.1
申请日：2022-07-15
申请人： 华为技术有限公司
摘要： 本申请涉及一种图像数据处理方法、装置和存储介质。该方法包括：通过第一映射处理，将图像数据映射至第一特征图像数据，该第一特征图像数据的尺寸小于图像数据；对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二特征图像数据；对所述第二特征图像数据的尺寸进行放大，确定第三特征图像数据，该第三特征图像数据的尺寸大于第一特征图像数据；对第三特征图像数据进行归一化处理，确定图像数据的预测结果。根据本申请实施例，可以在不引入新算子的情况下，大大减少了模型的计算量和参数量，使得模型能够部署于端侧，同时能够在图像数据处理中保证模型的准确率，加快模型的运算速度。
-
-
-
-
-
-
-
-
-
搜索结果
146 条记录 (耗时 0.063 秒)
