-
Patent Agency Ranking
公开(公告)号：CN113348474A
公开(公告)日：2021-09-03
申请号：CN202080010832.5
申请日：2020-01-04
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，并且特别是用于以具有有损或非均匀尾数的压缩格式存储来自神经网络的激活值，以用于在神经网络的前向和后向传播训练期间使用。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的压缩器。计算系统被配置为针对神经网络的层执行前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值由压缩器转换为具有非均匀和/或有损尾数的第二块浮点格式。压缩的激活值被存储在存储器中，在存储器中该压缩的激活值可以被取回以用于在后向传播期间使用。
-
公开(公告)号：CN113424202B
公开(公告)日：2025-01-10
申请号：CN202080014556.X
申请日：2020-01-30
Applicant: 微软技术许可有限责任公司
IPC: G06N3/063 , G06N3/084 , G06N3/0464
Abstract: 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，特别是用于调整被用来在训练期间存储激活值的浮点格式的装置和方法。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的浮点压缩器。计算系统被配置为产生包括以第一浮点格式表达的激活值的神经网络，基于性能度量选择针对神经网络的第二浮点格式，将激活值中的至少一个激活值转换为第二浮点格式，以及将经压缩的激活值存储在存储器中。可以被调整的第二浮点格式的各方面包括被用来表达尾数的位数、指数格式、非均匀尾数的使用和/或被用来表达尾数中的一些尾数的离群值的使用。
-
公开(公告)号：CN113273082B
公开(公告)日：2025-04-25
申请号：CN201980087238.3
申请日：2019-12-16
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法，并且具体地，公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中，计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和/或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中，其中压缩的激活值可以被取回以供在后向传播期间使用。
-
公开(公告)号：CN113424202A
公开(公告)日：2021-09-21
申请号：CN202080014556.X
申请日：2020-01-30
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，特别是用于调整被用来在训练期间存储激活值的浮点格式的装置和方法。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的浮点压缩器。计算系统被配置为产生包括以第一浮点格式表达的激活值的神经网络，基于性能度量选择针对神经网络的第二浮点格式，将激活值中的至少一个激活值转换为第二浮点格式，以及将经压缩的激活值存储在存储器中。可以被调整的第二浮点格式的各方面包括被用来表达尾数的位数、指数格式、非均匀尾数的使用和/或被用来表达尾数中的一些尾数的离群值的使用。
-
公开(公告)号：CN113273082A
公开(公告)日：2021-08-17
申请号：CN201980087238.3
申请日：2019-12-16
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法，并且具体地，公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中，计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和/或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中，其中压缩的激活值可以被取回以供在后向传播期间使用。
-
-
-
-
Search Results
5
records
(took 0.022 seconds)
