一种基于深度学习的AI加速器混合量化方法及硬件设计

    公开(公告)号:CN117993452A

    公开(公告)日:2024-05-07

    申请号:CN202410149739.2

    申请日:2024-02-02

    摘要: 本发明公开了一种基于深度学习的AI加速器混合量化方法及硬件设计,该方法包括根据经验值、卷积核的尺寸参数以及需要量化的比特数确定初始的基二维张量;基于初始的基二维张量设置阈值二维张量;提取所述原始权重的符号值,并保存在第一三维张量中;基于阈值二维张量和量化的权重值得到第二三维张量。该硬件设计包括卷积计算单元、处理阵列单元、乘累加模块和加法树模块。通过使用本发明能够实现一个网络内不同层参数的混合量化,合理的将影响程度不同的网络参数量化为不同比特,提高轻量化网络的性能和准确率。本发明可广泛应用于芯片技术领域。

    一种基于FPGA的支持8bit和16bit数据的可配置的CNN乘法累加器

    公开(公告)号:CN113138748B

    公开(公告)日:2023-08-29

    申请号:CN202110382102.4

    申请日:2021-04-09

    IPC分类号: G06F7/523 G06N3/0464

    摘要: 本发明公开了一种基于FPGA的支持8bit和16bit数据位宽的可配置的CNN乘法累加器,包括控制模块、输入特征图寄存器、权重寄存器、部分和寄存器、PE阵列以及输出特征图寄存器,其中:所述控制模块用于控制整个卷积计算的时序;输入特征图寄存器用于寄存输入特征图,并把输入特征图像素按照卷积顺序输出到PE阵列;权重寄存器用于为PE阵列提供输入权重;部分和寄存器是一个只有一层的寄存器阵列,PE阵列用于完成卷积计算,输出特征图寄存器用于寄存通过PE阵列完成计算后的值。本发明能加快CNN硬件加速器的设计与部署,简化设计流程。

    一种基于FPGA的可重构卷积神经网络加速器

    公开(公告)号:CN113222130A

    公开(公告)日:2021-08-06

    申请号:CN202110382085.4

    申请日:2021-04-09

    IPC分类号: G06N3/063 G06N3/04

    摘要: 本发明公开了一种基于FPGA的可重构卷积神经网络加速器,包括内存DDR、中央处理器CPU以及卷积处理单元;所述卷积处理单元包括内存接口生成器MIG、指令BUF、Idata BUF、Wdata BUF、Odata BUF、控制器和卷积计算模块;所述卷积计算模块具有五层结构,包括数据输入层、S形移位层、数据分享层、PE阵列层、输出数据层。本发明提供的加速器通过配置信息进行重构,能适应不同卷积网络的结构,充分利用FPGA片内计算资源加速卷积的计算过程,使得卷积计算模块所需的资源进一步减少。

    一种基于混合比特位宽的稀疏卷积加速器

    公开(公告)号:CN118396060A

    公开(公告)日:2024-07-26

    申请号:CN202410460615.6

    申请日:2024-04-17

    摘要: 本发明公开了一种基于混合比特位宽的稀疏卷积加速器,该稀疏卷积加速器包括:总控模块,用于控制所述基于混合比特位宽的稀疏卷积加速器的整体运行;DMA,用于执行片内外图像数据和权重的搬运;第一计算核,用于完成混合比特位宽的稀疏卷积层的加速;缓存模块,用于缓存和复用数据。本发明提出了一种以低位宽乘法器为基本单元,通过加法、移位及基本单元的灵活组合,以支持混合精度计算的CNN乘法累加器结构,灵活、高效地实现对不同压缩网络模型的卷积算子的硬件加速。本发明可广泛应用于芯片设计领域。

    一种基于深度学习的AI加速器量化算法

    公开(公告)号:CN117973471A

    公开(公告)日:2024-05-03

    申请号:CN202410149411.0

    申请日:2024-02-02

    摘要: 本发明公开了一种基于深度学习的AI加速器量化算法,该方法包括获取预训练模型的各项参数,对权重的输入激活值进行限制和映射,得到输入激活的位宽;对预训练模型的浮点数数据进行预处理;基于输入激活的位宽对第一张量进行分组量化;对分组量化数据进行绝对值累加,并计算原始数据与分组量化数据的绝对值累加值的误差;设置超参数空间,并调整超参数组合;基于不同超参数组合和绝对值累加值的误差筛选分组量化数据;对预训练模型进行训练,并使损失函数最小化,得到最优的比特位权值分布及其对应的分组量化数据。通过使用本发明能够在保持精度的前提下,灵活地将每一层的数据量化为合适的量化位宽。本发明可广泛应用于人工智能技术领域。

    一种基于FPGA的支持8bit和16bit数据的可配置的CNN乘法累加器

    公开(公告)号:CN113138748A

    公开(公告)日:2021-07-20

    申请号:CN202110382102.4

    申请日:2021-04-09

    IPC分类号: G06F7/523 G06N3/04

    摘要: 本发明公开了一种基于FPGA的支持8bit和16bit数据位宽的可配置的CNN乘法累加器,包括控制模块、输入特征图寄存器、权重寄存器、部分和寄存器、PE阵列以及输出特征图寄存器,其中:所述控制模块用于控制整个卷积计算的时序;输入特征图寄存器用于寄存输入特征图,并把输入特征图像素按照卷积顺序输出到PE阵列;权重寄存器用于为PE阵列提供输入权重;部分和寄存器是一个只有一层的寄存器阵列,PE阵列用于完成卷积计算,输出特征图寄存器用于寄存通过PE阵列完成计算后的值。本发明能加快CNN硬件加速器的设计与部署,简化设计流程。