模型量化方法、装置、设备及存储介质

    公开(公告)号:CN116956990A

    公开(公告)日:2023-10-27

    申请号:CN202311000822.5

    申请日:2023-08-09

    发明人: 黄雅凤 杨豪

    IPC分类号: G06N3/04 G06N3/08

    摘要: 本申请实施例提供一种模型量化方法、装置、设备及存储介质,涉及模型量化技术领域。所述方法包括:基于预设的模型量化次序,对原始模型逐层进行最优参数搜索,并确定所述原始模型每一层的最优尺度参数;基于所述原始模型每一层的最优尺度参数对所述原始模型进行量化得到最终量化模型。本申请通过按照预设次序依次对原始模型每一层的最优参数进行逐层搜索,从而能够快速、准确地获取得到贴合实际应用需求的量化模型。