计算图处理方法、装置、电子设备及存储介质

    公开(公告)号:CN117764122A

    公开(公告)日:2024-03-26

    申请号:CN202311861591.7

    申请日:2023-12-29

    摘要: 本申请公开一种计算图处理方法、装置、电子设备及存储介质,计算图处理方法包括:解析机器学习模型以得到第一计算图,第一计算图包括多个计算节点;对第一计算图进行图级优化操作以得到第二计算图;图级优化操作包括地址传递流优化操作,地址传递流优化操作包括:根据第一计算图中多个计算节点的节点信息和数据依赖关系获取第一计算图的张量数据流;对张量数据流中的张量数据进行稀疏化处理得到相应的稀疏张量数据,稀疏张量数据采用张量感知的稀疏存储格式进行存储;根据张量数据流将稀疏张量数据的地址索引串联成地址传递流;根据地址传递流对第一计算图进行优化。本申请可以实现自动高效的稀疏计算,提高计算效率。

    一种提高图像数据在网络中传输效率的方法及系统

    公开(公告)号:CN116193130B

    公开(公告)日:2024-03-22

    申请号:CN202310220430.3

    申请日:2023-03-09

    摘要: 本申请涉及一种提高图像数据在网络中传输效率的方法及系统,方法包括响应于获取到的图像数据,将图像数据拆分为多个像素矩阵;计算像素矩阵中不同灰度值的像素数量,记为像素数量数值;像素数量数值小于第一设定值时对像素矩阵进行无损压缩,像素数量数值大于等于第一设定值时计算像素矩阵的信息熵值;信息熵值小于第二设定值时对像素矩阵进行无损压缩,信息熵值大于第二设定值时对像素矩阵进行有损压缩以及得到经过压缩处理的图像。本申请公开的提高图像数据在网络中传输效率的方法及系统,使用混合压缩的方式对计算机图像的不同区域使用不同的方式进行压缩,来同时保证数据尺寸和编解码效率,进而提高计算机图像数据在网络当中进行传输的效率。

    基于存算一体加速器的任务动态分配数据并行计算方法

    公开(公告)号:CN116414726B

    公开(公告)日:2024-03-15

    申请号:CN202310299133.2

    申请日:2023-03-24

    IPC分类号: G06F12/02 G06F9/50

    摘要: 本发明属于数据处理领域,涉及存算一体加速器技术,用于解决现有技术中的任务动态分配数据并行计算方法,无法采用不同的寻址模式来提高空间寻址效率的问题,具体是基于存算一体加速器的任务动态分配数据并行计算方法,先通过存算一体加速器内核对数据进行近数据计算,在接收到请求者发送的空间分配信号时,再通过任务寻址模块将请求者发送请求任务的计算空间内存需求值发送至模式切换模块,模式切换模块对计算空间的寻址模式进行切换控制分析,将空间节点发送至请求者的客户端;本发明是通过加速器网络将每一个运算内核分割成多个任务模块,并利用任务地址空间技术将任务模块在网络中传输,以实现最高的硬件利用率。

    一种针对ReRAM神经网络计算引擎网络的部署方法

    公开(公告)号:CN116089095B

    公开(公告)日:2023-10-27

    申请号:CN202310178428.4

    申请日:2023-02-28

    IPC分类号: G06F9/50

    摘要: 本发明公开了一种针对ReRAM神经网络计算引擎网络的部署方法,属于神经网络技术领域,其方法包括:步骤1:解析神经网络,获取各层的基础信息;步骤2:进行ReRAM资源分配,得到ReRAM资源分配信息;步骤3:进行DMA资源分配,生成rdma与wdma的配置信息;步骤4:进行gbuf资源分配,生成分配信息;步骤5:遍历神经网络,将上述分配信息整合到各层,生成整个网络的配置部署信息。本发明可快速提供部署网络需要的引擎配置,提高了存算颗粒摆放权重的效率。

    存算一体芯片及其操作方法
    5.
    发明公开

    公开(公告)号:CN116776943A

    公开(公告)日:2023-09-19

    申请号:CN202310725317.0

    申请日:2023-06-19

    摘要: 本申请公开了一种存算一体芯片,所述存算一体芯片包括多个由片上网络连接的块,每个块均包括存算模块和向量处理模块,其中,所述存算一体芯片用于将神经网络的注意力权重分别存储在相应块的存算模块中;根据网络模型的配置参数将输入数据与注意力权重卷积运算得到的多个特征向量均拆分成相应的多个特征向量矩阵;以及将多个不同的特征向量矩阵分别发送至相应的多个块的向量处理模块中进行多头注意力运算得到多个注意力头矩阵。本申请还提供一种存算一体芯片的操作方法,可以实现注意力机制的多头并行运算,提高计算效率,减小推理过程的延迟时间。

    一种基于ReRAM的神经网络权重映射方法

    公开(公告)号:CN116702845A

    公开(公告)日:2023-09-05

    申请号:CN202310048900.2

    申请日:2023-02-01

    IPC分类号: G06N3/063 G06N3/0464

    摘要: 本发明公开了一种基于ReRAM神经网络加速器的权重映射方法,属于神经网络加速器领域,方法包括:步骤1:以ReRAM阵列的Bank作为第一映射优先级,用来放置卷积输入通道;步骤2:以ReRAM阵列的Bank‑Row方向作为第二映射优先级,在卷积核的输出通道维度上,把不同通道的卷积核摆放置不同的Bank‑Row位置上,直到完成所有输入和输出通道的数据映射要求;步骤3:每个权重数据按照比特位的特定顺序规则排列在计算阵列的交叉电路中。本发明提出一种新颖的高并行度权重映射算法设计,极大程度挖掘了卷积和矩阵乘法计算的并行性的同时,也降低硬件复杂度的。

    一种针对ReRAM部署神经网络的权重分配方法

    公开(公告)号:CN116306811A

    公开(公告)日:2023-06-23

    申请号:CN202310178399.1

    申请日:2023-02-28

    IPC分类号: G06N3/0464 G06N3/063

    摘要: 本发明公开了一种针对ReRAM部署神经网络的权重分配方法,属于神经网络技术领域,其方法包括:遍历神经网络结构,将权重进行转换,适配到存算神经网络计算引擎,每层的权重形成一个3维的小立方体;使用3d背包算法,遍历所有的权重立方体,将小立方体放到存算阵列转换的大立方体中,并获取对应的坐标信息。本发明转换了存算阵列视角,将权重存放问题抽象为传统的3d背包问题,便于使用成熟的算法解决陌生的问题,提高了权重存放的效率;同时适用于多数神经网络的权重存放,可复用性高,更利于神经网络的部署与存算神经网络计算引擎的迭代改进。

    存算一体芯片的纠错装置及方法
    8.
    发明公开

    公开(公告)号:CN117334239A

    公开(公告)日:2024-01-02

    申请号:CN202311183816.8

    申请日:2023-09-14

    发明人: 熊大鹏 李涛

    IPC分类号: G11C29/00

    摘要: 本申请公开一种存算一体芯片的纠错装置,包括:存算阵列,包括行列排列的多个存算单元以及多个备用存算单元;纠错电路,用于将坏点存算单元的地址按列或按行依次映射到备用存算单元的地址;以及根据坏点存算单元的地址将对坏点存算单元的操作替换为对备用存算单元的操作;其中,所述纠错电路还用于根据坏点存算单元映射的备用存算单元的地址将输入数据输入至所述备用存算单元中。本申请还提供一种存算一体芯片的纠错方法,可以将多个坏点存算单元的操作替换为同一备用列或者备用行的备用存算单元中,可以减少备用列或备用行的数量,降低芯片的占用面积以及成本。

    一种针对ReRAM部署神经网络的权重分配方法

    公开(公告)号:CN116306811B

    公开(公告)日:2023-10-27

    申请号:CN202310178399.1

    申请日:2023-02-28

    IPC分类号: G06N3/0464 G06N3/063

    摘要: 本发明公开了一种针对ReRAM部署神经网络的权重分配方法,属于神经网络技术领域,其方法包括:遍历神经网络结构,将权重进行转换,适配到存算神经网络计算引擎,每层的权重形成一个3维的小立方体;使用3d背包算法,遍历所有的权重立方体,将小立方体放到存算阵列转换的大立方体中,并获取对应的坐标信息。本发明转换了存算阵列视角,将权重存放问题抽象为传统的3d背包问题,便于使用成熟的算法解决陌生的问题,提高了权重存放的效率;同时适用于多数神经网络的权重存放,可复用性高,更利于神经网络的部署与存算神经网络计算引擎的迭代改进。

    一种自动获得混合精度量化全局最优化策略的方法

    公开(公告)号:CN115719086B

    公开(公告)日:2023-07-14

    申请号:CN202211469658.8

    申请日:2022-11-22

    IPC分类号: G06N3/0495

    摘要: 本发明公开了一种自动获得混合精度量化全局最优化策略的方法,包括以下步骤:准备将要进行量化的深度神经网络数据集;从深度神经网络的所有混合量化组合中顺序选取一个组合进行推理,并记录实际的推理精度和实际的推理时间,重复直至遍历所有混合量化组合;排除掉实际推理精度或实际推理时间不符合要求的混合量化组合,对剩余符合推理精度和推理时间要求的计算得分并按得分进行排序;选择最高得分的混合量化组合作为混合精度量化全局最优化策略。本发明遍历所有混合量化组合,能自动找到全局最优化的混合量化组合;用户还可以通过修改推理精度权重和推理时间权重来调整混合量化组合得分标准,更好地在不同场景或不同模型找到全局最优化的组合。