-
公开(公告)号：CN117908827A
公开(公告)日：2024-04-19
申请号：CN202211281416.6
申请日：2022-10-19
申请人： 华为技术有限公司
IPC分类号： G06F7/483
摘要： 本申请实施例提供一种浮点数据精度转换方法和装置，涉及芯片技术领域，提高了高精度数据向低精度数据转换时的整体均值不变性。具体方案为：根据第一指数域的第一编码值确定前缀码域的第一位宽、前缀码域的第一编码值、第二指数域的第一位宽、第二指数域的第一编码值以及第二尾数域的第一位宽；确定第一尾数域中的保留编码值和舍弃编码值，保留编码值包括第一尾数域中从最高位开始，且位宽与第二尾数域的第一位宽相同的编码值；根据舍弃编码值对保留编码值进行舍入操作，得到第二尾数域的第一编码值。本申请实施例用于高精度数据向低精度数据转换的过程。
-
公开(公告)号：CN117396851A
公开(公告)日：2024-01-12
申请号：CN202180098682.2
申请日：2021-12-30
申请人： 华为技术有限公司
IPC分类号： G06F9/50
摘要： 本申请提供了一种确定分布式训练算法框架配置方法、装置及系统。该方法包括：获得候选分布式训练算法框架DTAF配置，将候选DTAF配置用于模型训练，并反馈候选DTAF配置的训练完成时间，根据候选DTAF配置的训练完成时间和原第一DTAF配置的训练完成时间，来确定是否对原第一DTAF配置进行更新，形成DTAF配置自适应的闭环过程。在无需专家经验的前提下，可以灵活地自动搜索最优的分布式训练算法框架配置。
-
公开(公告)号：CN118690797A
公开(公告)日：2024-09-24
申请号：CN202310354260.8
申请日：2023-03-21
申请人： 华为技术有限公司
IPC分类号： G06N3/0464 , G06N3/048 , G06N3/08
摘要： 本公开的实施例提供了用于精度转换的方法、设备、装置、介质和程序产品，涉及芯片技术领域。提供了一种方法，用于将包括第一指数域和第一尾数域的第一精度格式的数据转换为包括第二指数域和第二尾数域的第二精度格式。第一精度格式比第二精度格式的精度更高。方法包括：基于针对数据的第二尾数域的位宽，确定第一尾数域中的保留位和参考位，保留位包括从最高位开始的一个或多个位并且位宽与第二尾数域的位宽相同，参考位包括保留位之后的两位。方法还包括基于参考位的编码值与阈值的比较，对保留位的编码值进行舍入操作，以获取第二尾数域的编码值。以此方式，利用位宽为2的参考位与阈值的比较，可以高效地舍入尾数，从而提高精度转换的效率。
-
公开(公告)号：CN118585164A
公开(公告)日：2024-09-03
申请号：CN202310238789.3
申请日：2023-03-03
申请人： 华为技术有限公司
IPC分类号： G06F7/483
摘要： 本申请实施例提供一种浮点数据精度转换方法和装置，涉及芯片技术领域，降低了高精度数据向低精度数据转换时的转换误差。具体方案为：根据第一指数域的编码值确定第二尾数域的位宽；确定第一尾数域中的保留编码值和舍弃编码值，保留编码值包括第一尾数域中从最高位开始，且位宽与第二尾数域的位宽相同的编码值；若第一指数域的编码值大于或等于第一预设阈值，根据舍弃编码值中从最高位开始，且位宽为预设位宽的编码值对保留编码值进行舍入操作，得到第二尾数域的编码值；若第一指数域的编码值小于第一预设阈值，根据舍弃编码值的最高位对保留编码值进行舍入操作，得到第二尾数域的编码值。本申请实施例用于浮点数据精度转换的过程。
-
公开(公告)号：CN117529725A
公开(公告)日：2024-02-06
申请号：CN202180099442.4
申请日：2021-06-28
申请人： 华为技术有限公司
IPC分类号： G06N3/0464
摘要： 本申请提供了一种图像处理方法及装置，涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：通过至少一个图像处理模块对输入图像进行处理，并将处理结果作为视觉任务模型的输入，根据视觉任务模型的处理结果调整该至少一个图像处理模块。本申请的方案能够获得适合视觉任务模型的图像处理流程，有利于提高视觉任务模型的性能。
-
公开(公告)号：CN116888605A
公开(公告)日：2023-10-13
申请号：CN202180094093.7
申请日：2021-04-30
申请人： 华为技术有限公司
摘要： 本申请公开了人工智能领域中的一种神经网络模型的运算方法、训练方法及装置，在该运算方法中，利用winograd变换后的权重矩阵对winograd变换后的输入数据矩阵进行特征提取，得到中间矩阵，中间矩阵中的每个元素是根据变换后的输入数据矩阵与变换后的权重矩阵中对应位置的元素之间的L1距离确定的，通过winograd算法对中间矩阵进行输出数据变换，得到输出数据矩阵。本申请的方案将winograd中的点乘操作替换为计算L1距离的操作等加法操作，减少了特征提取过程的计算量，提高了模型的运行速度，减少了运算开销。
-
公开(公告)号：CN116261729A
公开(公告)日：2023-06-13
申请号：CN202080104556.9
申请日：2020-07-30
申请人： 华为技术有限公司
IPC分类号： G06N3/02
摘要： 一种神经网络模型构建方法及其设备，用于构建神经网络过程中。该方法包括：通过第一模型生成器构建第一神经网络模型(601)，根据第一神经网络模型获取第一神经网络模型在目标芯片上运行时的第一性能指标(602)，根据第一性能指标调整第一模型生成器，得到第二模型生成器(603)，通过第二模型生成器构建第二神经网络模型，第二神经网络模型的第二性能指标优于第一性能指标。上述方案通过获取第一神经网络模型在目标芯片上运行时的第一理论性能指标，并根据第一理论性能指标调整第一模型生成器，从而构建出在目标芯片中运行时硬件性能指标更优的神经网络模型。
-
公开(公告)号：CN118551812A
公开(公告)日：2024-08-27
申请号：CN202310227069.7
申请日：2023-02-27
申请人： 华为技术有限公司
摘要： 本申请提供一种数据处理方法及装置，该方法通过对第一数据执行至少一次逻辑运算和/或算数运算后得到第二数据，第一数据为目标神经元中运行激活函数得到的运行结果，目标神经元为用于训练神经网络模型的多个神经元中任一神经元。由于生成的第二数据的分布均匀，因此第二数据可以视为现有随机失活过程中的随机数。若第二数据小于设定数据，则在神经网络模型的训练过程中使目标神经元停止工作，从而达到以设定比值进行随机失活的目的。由于第二数据是根据第一数据生成的，所以本申请提供的方法不仅减少了数据拷贝过程，还不依赖CPU等设备的并行处理性能，因此提高了随机数生成效率，进而提高dropout效率，避免失活成为模型性能的瓶颈。
-
公开(公告)号：CN117973480A
公开(公告)日：2024-05-03
申请号：CN202211275427.3
申请日：2022-10-18
申请人： 华为技术有限公司
摘要： 本公开的实施例提供了用于校准神经网络量化的方法、设备、装置、介质和程序产品，涉及计算机领域。在该方法中，通过在神经网络的多个层执行第一精度与第二精度之间的转换，获取第一推理结果。神经网络以第一精度被训练，第二精度包括锥形浮点精度，并且第一精度高于第二精度。若第一推理结果不满足预定条件，在多个层执行第一精度与第二精度之间的经校准的转换，以获取第二推理结果。若第二推理结果不满足预定条件，在多个层中标识一个或多个目标层以保持第一精度或高于第二精度的其他精度。以此方式，利用经校准的转换，可以减少低精度对网络的推理结果的影响。此外，通过多轮校准来标识不适于执行量化的目标层，可以在提高计算效率的同时使得网络的推理结果能够满足预定条件。
-
公开(公告)号：CN117910537A
公开(公告)日：2024-04-19
申请号：CN202211281740.8
申请日：2022-10-19
申请人： 华为技术有限公司
摘要： 本申请实施例公开了一种神经网络训练方法及装置，涉及神经网络领域，能够降低训练功耗，减少训练时间，提高神经网络的性能。具体方案为：将第一数据格式的数据矩阵和权重矩阵转换为第二数据格式的数据转换矩阵和权重转换矩阵，第二数据格式的总位宽小于第一数据格式的总位宽。根据数据转换矩阵和权重转换矩阵逐层前向计算至少一个矩阵乘计算层得到误差数据。根据误差数据逐层反向传播至少一个矩阵乘计算层，以确定每个矩阵乘计算层对应的误差梯度矩阵。根据至少一个矩阵乘计算层中前一个矩阵乘计算层对应的误差梯度矩阵，更新当前计算层对应的参数。其中，至少一个矩阵乘计算层在前向计算和反向传播时对应的数据为第二数据格式的数据。
-
-
-
-
-
-
-
-
-
搜索结果
12 条记录 (耗时 0.024 秒)
