面向混合精度神经网络的存内计算单元设计方法和系统

    公开(公告)号:CN118278477B

    公开(公告)日:2024-10-01

    申请号:CN202410376716.5

    申请日:2024-03-29

    摘要: 本发明提供了一种面向混合精度神经网络的存内计算单元设计方法和系统,包括:步骤1:对现有的二值分割算法进行硬件上的混合精度乘积累加计算适配,得到改进后混合精度矢量乘积累加计算方法;步骤2:采用双模式可重构乘法单元,解决改进后混合精度矢量乘积累加计算方法所需的大位宽乘法器问题,得到改进后混合精度矢量乘积累加计算方法的硬件单元设计;步骤3:运用轻量级接口设计,结合双模式可重构乘法单元,根据改进后混合精度矢量乘积累加计算方法,完善乘法前操作元的预处理和乘法后结果的后处理硬件设计。本发明旨在提出一个存内计算电路模块,为经过混合精度量化压缩后的边缘端神经网络模型推理提供加速支持。

    面向混合精度神经网络的存内计算单元设计方法和系统

    公开(公告)号:CN118278477A

    公开(公告)日:2024-07-02

    申请号:CN202410376716.5

    申请日:2024-03-29

    摘要: 本发明提供了一种面向混合精度神经网络的存内计算单元设计方法和系统,包括:步骤1:对现有的二值分割算法进行硬件上的混合精度乘积累加计算适配,得到改进后混合精度矢量乘积累加计算方法;步骤2:采用双模式可重构乘法单元,解决改进后混合精度矢量乘积累加计算方法所需的大位宽乘法器问题,得到改进后混合精度矢量乘积累加计算方法的硬件单元设计;步骤3:运用轻量级接口设计,结合双模式可重构乘法单元,根据改进后混合精度矢量乘积累加计算方法,完善乘法前操作元的预处理和乘法后结果的后处理硬件设计。本发明旨在提出一个存内计算电路模块,为经过混合精度量化压缩后的边缘端神经网络模型推理提供加速支持。

    具有层间关联性感知能力的多目标混合精度量化搜索方法

    公开(公告)号:CN118333124A

    公开(公告)日:2024-07-12

    申请号:CN202410236022.1

    申请日:2024-03-01

    IPC分类号: G06N3/082 G06N3/0495

    摘要: 本发明提供了一种具有层间关联性感知能力的多目标混合精度量化搜索方法和系统,包括:压缩神经网络模型,获取推理精度;量化并降低模型每层的比特位,获取推理精度和敏感度;采样得到随机的混合精度量化策略,降低模型中的复数层的比特位;获取推理精度损失,计算所有采样得到的混合精度量化策略对应的层间依赖性;筛选出条件集合;计算得出平均层间依赖性,算出不同层数对应的层间依赖性;设定影响值指标,求出模型中每层对应的影响值的近似解;根据得到两个优化目标;得出最优策略。本发明通过采用均匀采样和线性回归的方法,得出总层数对于层间依赖性的影响值,解决了如何定量测量任意一个混合精度量化策略对应的层间依赖性的问题。

    一种可动态分配运算逻辑单元的矢量运算装置及方法

    公开(公告)号:CN118276945A

    公开(公告)日:2024-07-02

    申请号:CN202410712525.1

    申请日:2024-06-04

    IPC分类号: G06F9/30 G06F17/16

    摘要: 本发明公开一种可动态分配运算逻辑单元的矢量运算装置及方法,涉及芯片设计领域;利用矢量运算装置进行运算逻辑单元ALU的动态分配,在时钟周期,取指单元在内存中取指指令,译码单元识别所取指令类型和功能,并判断所取指令是否需要调度矢量运算逻辑单元VALU分配运算逻辑单元ALU,是则矢量指令接收单元接收指令,根据指令通过运算资源管理单元动态分配相应的运算逻辑单元ALU给各计算核心,并行执行指令中的矢量运算,本发明使得处理器的多个计算核心可以动态共享矢量逻辑运算单元VALU,从而有效降低芯片面积和功耗。

    一种轻量化通用图形处理器的实现方法

    公开(公告)号:CN118279125B

    公开(公告)日:2024-08-06

    申请号:CN202410712527.0

    申请日:2024-06-04

    IPC分类号: G06T1/20 G06F9/50

    摘要: 本发明涉及通用图形处理器技术领域,特别涉及一种轻量化通用图形处理器的实现方法。该轻量化通用图形处理器的实现方法,基于开放计算语言OpenCL编程框架与RISC‑V第五代精简指令集,采用单指令多线程SIMT计算模型,同时采用高带宽存储器HBM高速缓存作为全局内存,实现轻量化的通用图形处理器的快速部署。该轻量化通用图形处理器的实现方法,采用此流水线模式,最大限度的降低了内存的使用率和软件的复杂度,提高了硬件资源利用率、降低了能耗,实现了更高的能效比;同时,基于RISC‑V指令集更易部署开发,具有灵活的可裁剪性及适配性。

    一种轻量化通用图形处理器的实现方法

    公开(公告)号:CN118279125A

    公开(公告)日:2024-07-02

    申请号:CN202410712527.0

    申请日:2024-06-04

    IPC分类号: G06T1/20 G06F9/50

    摘要: 本发明涉及通用图形处理器技术领域,特别涉及一种轻量化通用图形处理器的实现方法。该轻量化通用图形处理器的实现方法,基于开放计算语言OpenCL编程框架与RISC‑V第五代精简指令集,采用单指令多线程SIMT计算模型,同时采用高带宽存储器HBM高速缓存作为全局内存,实现轻量化的通用图形处理器的快速部署。该轻量化通用图形处理器的实现方法,采用此流水线模式,最大限度的降低了内存的使用率和软件的复杂度,提高了硬件资源利用率、降低了能耗,实现了更高的能效比;同时,基于RISC‑V指令集更易部署开发,具有灵活的可裁剪性及适配性。

    跨工艺角的签核级时序预测方法及系统

    公开(公告)号:CN117787202B

    公开(公告)日:2024-07-26

    申请号:CN202311787034.5

    申请日:2023-12-22

    发明人: 郭鑫斐 朱琳宇

    摘要: 本发明提供了一种跨工艺角的签核级时序预测方法及系统,包括步骤S1:基于布局布线后的版图进行工艺角预签核;步骤S2:建立预测模型;所述模型包括准确版预测模型和快速版预测模型;步骤S3:基于预测模型完成对工艺角的签核级时序预测。本发明基于机器学习的方法实现了只用一个已知工艺角时序信息预测多个未知工艺角的时序信息,可以用于集成电路设计流片前的签核阶段进行快速且准确的时序预测,大大减少了签核阶段的运行时间和计算资源;能够针对设计属性选择最佳单个参考工艺角,结合基于图学习的拓扑感知互连线时序预测方法进行跨工艺角时序预测,可被集成到当前的时序签核步骤中,并与工程指令变更(ECO)流程进行结合。

    基于贪心式搜索的硬件感知混合精度量化方法及系统

    公开(公告)号:CN116611493B

    公开(公告)日:2024-06-07

    申请号:CN202310553723.3

    申请日:2023-05-16

    发明人: 郭鑫斐 赵晓田

    IPC分类号: G06N3/08

    摘要: 本发明提供了一种基于贪心式搜索的硬件感知混合精度量化方法及系统,包括:对神经网络中的所有层进行同一位宽高精度量化,进行训练感知量化,获取训练模型、基准推理精度和总操作数;分别对神经网络中的每层进行单层低精度后训练量化,并记录每层对应的推理精度和对应的总操作数;根据所述基准推理精度和总操作数,以及所述每层对应的推理精度和对应的总操作数,计算单层敏感度;根据所述单层敏感度计算当前总操作数,直至到达预设的最大位操作数量,同时记录已被量化的层和量化精度,确定混合精度量化策略。本发明通过采用在在混合精度量化搜索中引入单层敏感度wi,在搜索前期采集该敏感度,从而实现兼顾硬件开销以及推理精度的优化量化策略。

    面向边缘智能的跨层次可重构SRAM存内计算单元及方法

    公开(公告)号:CN116721682B

    公开(公告)日:2024-10-01

    申请号:CN202310700487.3

    申请日:2023-06-13

    发明人: 郭鑫斐 王润曦

    IPC分类号: G11C7/12 G06F9/50 G06N3/063

    摘要: 本发明提供了一种面向边缘智能的跨层次可重构SRAM存内计算单元及方法,包括SRAM单元以及列共享可重构布尔计算单元;基于SRAM单元层面进行重构计算,得到重构结构;列共享可重构布尔计算单元基于重构结构输出计算结果;支持流水线式位串行加法的外围计算电路在布尔计算的基础上输出存内加法计算结果。本发明为了满足边缘端AI对低功耗、低硬件开销的需求,并让加速器尽可能能适配快速迭代的软件算法,本发明提出一种全新的基于SRAM的存内计算宏,它可以进行跨层次配置以支持多种布尔运算、算术运算和宏操作,以实现可重构性和额外开销的更佳平衡。

    基于动态规划的多目标混合精度量化搜索方法及系统

    公开(公告)号:CN117217302A

    公开(公告)日:2023-12-12

    申请号:CN202311168525.1

    申请日:2023-09-11

    摘要: 本发明提供了一种基于动态规划的多目标混合精度量化搜索方法及系统,包括:确定能够优化的位操作数量;对神经网络中所有层进行同一位宽的精度量化,进行训练感知量化,得到训练后的模型、基准推理精度和总操作数;并通过引入新的训练敏感度的指标,进一步扩大搜索空间,计算得到每一层不同位宽的精度损失、总操作数损失以及训练敏感度损失;按照顺序对位宽,对每一层神经网络和每个小于能够优化的位操作数量的值进行三层循环的遍历,并进行动态规划转移并记录遍历到每一层时的最小精度损失,以及进行状态转移的层,输出已被量化的层和量化精度,形成混合精度量化策略。本发明能够支持更多优化目标的多维混合精度搜索方法,提高搜索效率。