-
公开(公告)号：CN113273082B
公开(公告)日：2025-04-25
申请号：CN201980087238.3
申请日：2019-12-16
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法，并且具体地，公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中，计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和/或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中，其中压缩的激活值可以被取回以供在后向传播期间使用。
-
公开(公告)号：CN116745776A
公开(公告)日：2023-09-12
申请号：CN202280010765.6
申请日：2022-01-05
Applicant: 微软技术许可有限责任公司
IPC: G06N3/08
Abstract: 本公开的实施例包括一种系统，用于通过基于多个训练参数配置模型以执行训练过程、监测在训练过程的执行时产生的多个统计量、以及基于统计量中的一个或多个统计量来调整训练参数中的一个或多个训练参数以将统计量中的至少一个统计量维持在预定范围内来优化人工神经网络。在一些实施例中，人工智能(AI)处理器可以对模型执行训练过程，该训练过程具有相关联的训练参数集。训练过程的执行可以产生多个统计量。耦合到(多个)AI处理器的(多个)控制处理器可以接收统计量，并且据此调整训练参数中的一个或多个训练参数，以在训练过程的执行期间将统计量中的至少一个统计量维持在预定范围内。
-
公开(公告)号：CN118871927A
公开(公告)日：2024-10-29
申请号：CN202380026818.8
申请日：2023-01-17
Applicant: 微软技术许可有限责任公司
IPC: G06N3/0495 , G06N3/084
Abstract: 一种计算系统被配置为实现深度神经网络，深度神经网络包括用于接收应用于深度神经网络的输入的输入层、用于基于所接收的输入来输出推理的输出层、以及插入在输入层和输出层之间的多个隐藏层。多个节点选择性地对输入进行操作，以生成并且引起推理的输出，其中节点的操作是基于深度神经网络的参数而被控制。稀疏控制器被配置为选择性地应用多个不同的稀疏状态来控制深度神经网络的参数密度。量化控制器被配置成以稀疏依赖的方式选择性地量化深度神经网的参数，使得应用于每个参数的量化基于多个不同稀疏状态中的哪个稀疏状态应用于该参数。
-
公开(公告)号：CN106170800A
公开(公告)日：2016-11-30
申请号：CN201480068343.X
申请日：2014-09-12
Applicant: 微软技术许可有限责任公司
IPC: G06K9/66
CPC classification number: G06N3/084 , G06N3/0454 , G06N7/005 , G06N20/00 , G09B5/00
Abstract: 提供了用于通过从更大、更准确的“老师”DNN模型“学习”“学生”DNN模型来生成DNN分类器的系统和方法。学生DNN可以通过使未标记训练数据通过可以从已标记训练数据中训练出的老师DNN来从未标记训练数据中训练。在一个实施例中，应用迭代过程以便通过最小化来自老师和学生DNN模型的输出分布的分歧来训练学生DNN。对于直到收敛的每一次迭代，使用这两个DNN的输出中的差别来更新学生DNN模型，并且再次使用未标记训练数据来确定输出。所得到的经训练学生DNN模型可以适合在诸如移动或可穿戴设备之类的具有有限的计算或存储资源的设备上提供准确信号处理应用。在一实施例中，老师DNN模型包括各DNN模型的系综。
-
公开(公告)号：CN113168563B
公开(公告)日：2025-03-28
申请号：CN201980081880.0
申请日：2019-12-03
Applicant: 微软技术许可有限责任公司
IPC: G06N3/063 , G06N3/08 , G06N3/084 , G06N3/0464
Abstract: 一种用于在神经网络中提供量化精度的操作的仿真的方法和装置被公开。在一些示例中，量化精度的操作以块浮点格式被执行，在块浮点格式中张量的值共享共同指数。可以基于各种输入指标来使用用于选择较高精度或较低精度的技术。当转换为量化的张量时，产生残值张量。在一个实施例中，与从普通精度浮点数到量化的张量的转换相关联的误差值被用于确定在点积计算中是否使用残差张量。使用残差张量可以提高来自节点的输出的精度。对是否使用残差张量的选择取决于各种输入指标，包括误差值、层编号、指数值、层类型等。
-
Patent Agency Ranking
公开(公告)号：CN113424202B
公开(公告)日：2025-01-10
申请号：CN202080014556.X
申请日：2020-01-30
Applicant: 微软技术许可有限责任公司
IPC: G06N3/063 , G06N3/084 , G06N3/0464
Abstract: 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，特别是用于调整被用来在训练期间存储激活值的浮点格式的装置和方法。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的浮点压缩器。计算系统被配置为产生包括以第一浮点格式表达的激活值的神经网络，基于性能度量选择针对神经网络的第二浮点格式，将激活值中的至少一个激活值转换为第二浮点格式，以及将经压缩的激活值存储在存储器中。可以被调整的第二浮点格式的各方面包括被用来表达尾数的位数、指数格式、非均匀尾数的使用和/或被用来表达尾数中的一些尾数的离群值的使用。
-
公开(公告)号：CN105960672B
公开(公告)日：2019-11-26
申请号：CN201480075008.2
申请日：2014-09-09
Applicant: 微软技术许可有限责任公司
Abstract: 提供了用于结合环境变量的语音识别的系统和方法。该系统包括：语音捕捉设备(202)；特征提取模块(204)；环境变量模块(206)，其中所述环境变量模块确定环境变量的值；以及语音识别解码器(208)，其中所述语音识别译码器利用深度神经网络(DNN)来识别由所述语音捕捉装置捕捉的语音，其中所述DNN的一个或多个组件被建模为环境变量的一组函数。
-
公开(公告)号：CN105960672A
公开(公告)日：2016-09-21
申请号：CN201480075008.2
申请日：2014-09-09
Applicant: 微软技术许可有限责任公司
Abstract: 提供了用于结合环境变量的语音识别的系统和方法。该系统包括：语音捕捉设备(202)；特征提取模块(204)；环境变量模块(206)，其中所述环境变量模块确定环境变量的值；以及语音识别解码器(208)，其中所述语音识别译码器利用深度神经网络(DNN)来识别由所述语音捕捉装置捕捉的语音，其中所述DNN的一个或多个组件被建模为环境变量的一组函数。
-
公开(公告)号：CN113273082A
公开(公告)日：2021-08-17
申请号：CN201980087238.3
申请日：2019-12-16
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法，并且具体地，公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中，计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和/或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中，其中压缩的激活值可以被取回以供在后向传播期间使用。
-
公开(公告)号：CN113168563A
公开(公告)日：2021-07-23
申请号：CN201980081880.0
申请日：2019-12-03
Applicant: 微软技术许可有限责任公司
Abstract: 一种用于在神经网络中提供量化精度的操作的仿真的方法和装置被公开。在一些示例中，量化精度的操作以块浮点格式被执行，在块浮点格式中张量的值共享共同指数。可以基于各种输入指标来使用用于选择较高精度或较低精度的技术。当转换为量化的张量时，产生残值张量。在一个实施例中，与从普通精度浮点数到量化的张量的转换相关联的误差值被用于确定在点积计算中是否使用残差张量。使用残差张量可以提高来自节点的输出的精度。对是否使用残差张量的选择取决于各种输入指标，包括误差值、层编号、指数值、层类型等。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.026 seconds)
