公开(公告)号：CN114781616B

公开(公告)日：2024-11-08

申请号：CN202210460454.1

申请日：2022-04-24

Applicant: 北京小米移动软件有限公司

Inventor： 罗博源 ,  史润宇 ,  王凯 ,  尹旭东 ,  刘梓城

IPC: G06N5/04 ,  G06N3/063 ,  G06N3/0464 ,  G06N3/045

Abstract: 本公开是关于一种推理加速方法、推理加速装置及存储介质，所述方法，包括：获取待加速的第一网络模型的第一模型信息和第一网络模型对应的第二网络模型的第二模型信息；将第一模型信息和第二模型信息输入至推理加速系统内，利用推理加速系统的定点优化模块，分别对第一网络模型和第二网络模型进行定点优化处理，确定第三网络模型和第三网络模型的定点化配置信息；利用推理加速系统的单指令多数据流SIMD优化模块，基于SIMD指令对第三网络模型进行优化加速，得到加速后的目标网络模型的SIMD配置信息；根据定点化配置信息SIMD配置信息，确定出目标网络模型的目标模型配置信息。

公开(公告)号：CN114781616A

公开(公告)日：2022-07-22

申请号：CN202210460454.1

申请日：2022-04-24

Applicant: 北京小米移动软件有限公司

Inventor： 罗博源 ,  史润宇 ,  王凯 ,  尹旭东 ,  刘梓城

IPC: G06N3/04 ,  G06N3/063 ,  G06N5/04

Abstract: 本公开是关于一种推理加速方法、推理加速装置及存储介质，所述方法，包括：获取待加速的第一网络模型的第一模型信息和第一网络模型对应的第二网络模型的第二模型信息；将第一模型信息和第二模型信息输入至推理加速系统内，利用推理加速系统的定点优化模块，分别对第一网络模型和第二网络模型进行定点优化处理，确定第三网络模型和第三网络模型的定点化配置信息；利用推理加速系统的单指令多数据流SIMD优化模块，基于SIMD指令对第三网络模型进行优化加速，得到加速后的目标网络模型的SIMD配置信息；根据定点化配置信息SIMD配置信息，确定出目标网络模型的目标模型配置信息。

公开(公告)号：CN118821842A

公开(公告)日：2024-10-22

申请号：CN202310411113.X

申请日：2023-04-17

Applicant: 北京小米移动软件有限公司

Inventor： 罗博源

IPC: G06N3/0442 ,  G06N3/082

Abstract: 本公开是关于一种神经网络量化压缩方法、装置及存储介质。神经网络量化压缩方法，应用于终端，神经网络量化压缩方法包括：获取待进行量化压缩的神经网络；基于分段均匀压缩量化判别器对所述神经网络进行量化压缩，得到所述神经网络的局部最优分段量化配置，并基于混合精度量化判别器对所述神经网络进行量化压缩，得到所述神经网络的局部最优混合精度量化配置；通过联合量化器对所述局部最优分段量化配置和所述局部最优混合精度量化配置进行联合优化，得到所述神经网络的最优量化配置；基于所述最优量化配置，对所述神经网络进行量化压缩。通过本公开，使得神经网络的量化压缩的运行功耗，运行速度以及运行性能达到较好的平衡。