公开(公告)号：CN118796389A

公开(公告)日：2024-10-18

申请号：CN202410801566.8

申请日：2024-06-20

申请人： 苏州亿铸智能科技有限公司

发明人： 请求不公布姓名 ,  熊大鹏

IPC分类号： G06F9/48 ,  G06F9/50 ,  G06F9/54

摘要： 本公开提供了一种归约调度方法和装置。该归约调度方法用于调度单元，调度单元用于调度执行单元，归约调度方法包括：针对目标归约任务，设置执行单元对应的多个线程束；将目标归约任务的各个待归约向量存放到各个向量寄存器行；通过每个线程束，执行第一归约指令，以针对线程束中每个线程，利用归约单元，将线程对应的向量寄存器行中的待归约向量的各向量元素进行归约，得到第一归约结果，存储在线程对应的标量寄存器位中；通过执行单元对应的多个线程束中的目标线程束，执行第二归约指令，以利用归约单元，将执行单元内的标量寄存器中的各个标量寄存器位进行归约，得到第二归约结果。本公开实施例能提高归约操作的效率。

公开(公告)号：CN117172289B

公开(公告)日：2024-09-06

申请号：CN202311125349.3

申请日：2023-09-01

申请人： 苏州亿铸智能科技有限公司

发明人： 聂武洋 ,  周兵 ,  熊大鹏

IPC分类号： G06N3/0464 ,  G06N3/044 ,  G06N3/084

摘要： 本申请公开一种张量切分方法及装置，张量切分方法包括：基于神经网络的输入数据，获取神经网络对该输入数据进行计算时的计算图以及张量数据的张量信息；根据计算图的拓扑顺序对神经网络的张量数据进行内存分配，并从计算图中获取当前节点和当前张量数据，当前张量数据的尺寸超过当前内存的可分配空间；从当前节点进行反向搜索以获取当前节点分组以及当前张量切分组，当前张量切分组包括至少2个张量数据；对当前张量切分组内的张量数据进行切分以使当前张量切分组内的切分后的张量数据的尺寸均不超过当前内存的可分配空间。本申请可以对大的张量数据进行切分以满足内存空间要求，减少对外部存储器的访问，提高计算效率。

公开(公告)号：CN117764122A

公开(公告)日：2024-03-26

申请号：CN202311861591.7

申请日：2023-12-29

申请人： 苏州亿铸智能科技有限公司 ,  上海交通大学

发明人： 蒋力 ,  刘方鑫 ,  黄世远 ,  熊大鹏 ,  李涛

IPC分类号： G06N3/0495 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

摘要： 本申请公开一种计算图处理方法、装置、电子设备及存储介质，计算图处理方法包括：解析机器学习模型以得到第一计算图，第一计算图包括多个计算节点；对第一计算图进行图级优化操作以得到第二计算图；图级优化操作包括地址传递流优化操作，地址传递流优化操作包括：根据第一计算图中多个计算节点的节点信息和数据依赖关系获取第一计算图的张量数据流；对张量数据流中的张量数据进行稀疏化处理得到相应的稀疏张量数据，稀疏张量数据采用张量感知的稀疏存储格式进行存储；根据张量数据流将稀疏张量数据的地址索引串联成地址传递流；根据地址传递流对第一计算图进行优化。本申请可以实现自动高效的稀疏计算，提高计算效率。

公开(公告)号：CN116193130B

公开(公告)日：2024-03-22

申请号：CN202310220430.3

申请日：2023-03-09

申请人： 苏州亿铸智能科技有限公司

发明人： 胡建伟 ,  熊大鹏 ,  李涛

IPC分类号： H04N19/182 ,  H04N19/625 ,  H04N19/91 ,  H04N19/93

摘要： 本申请涉及一种提高图像数据在网络中传输效率的方法及系统，方法包括响应于获取到的图像数据，将图像数据拆分为多个像素矩阵；计算像素矩阵中不同灰度值的像素数量，记为像素数量数值；像素数量数值小于第一设定值时对像素矩阵进行无损压缩，像素数量数值大于等于第一设定值时计算像素矩阵的信息熵值；信息熵值小于第二设定值时对像素矩阵进行无损压缩，信息熵值大于第二设定值时对像素矩阵进行有损压缩以及得到经过压缩处理的图像。本申请公开的提高图像数据在网络中传输效率的方法及系统，使用混合压缩的方式对计算机图像的不同区域使用不同的方式进行压缩，来同时保证数据尺寸和编解码效率，进而提高计算机图像数据在网络当中进行传输的效率。

公开(公告)号：CN116414726B

公开(公告)日：2024-03-15

申请号：CN202310299133.2

申请日：2023-03-24

申请人： 苏州亿铸智能科技有限公司

发明人： 李涛 ,  熊大鹏 ,  胡建伟

IPC分类号： G06F12/02 ,  G06F9/50

摘要： 本发明属于数据处理领域，涉及存算一体加速器技术，用于解决现有技术中的任务动态分配数据并行计算方法，无法采用不同的寻址模式来提高空间寻址效率的问题，具体是基于存算一体加速器的任务动态分配数据并行计算方法，先通过存算一体加速器内核对数据进行近数据计算，在接收到请求者发送的空间分配信号时，再通过任务寻址模块将请求者发送请求任务的计算空间内存需求值发送至模式切换模块，模式切换模块对计算空间的寻址模式进行切换控制分析，将空间节点发送至请求者的客户端；本发明是通过加速器网络将每一个运算内核分割成多个任务模块，并利用任务地址空间技术将任务模块在网络中传输，以实现最高的硬件利用率。

公开(公告)号：CN116089095B

公开(公告)日：2023-10-27

申请号：CN202310178428.4

申请日：2023-02-28

申请人： 苏州亿铸智能科技有限公司

发明人： 董光达 ,  余少华 ,  熊大鹏 ,  李涛

IPC分类号： G06F9/50

摘要： 本发明公开了一种针对ReRAM神经网络计算引擎网络的部署方法，属于神经网络技术领域，其方法包括：步骤1：解析神经网络，获取各层的基础信息；步骤2：进行ReRAM资源分配，得到ReRAM资源分配信息；步骤3：进行DMA资源分配，生成rdma与wdma的配置信息；步骤4：进行gbuf资源分配，生成分配信息；步骤5：遍历神经网络，将上述分配信息整合到各层，生成整个网络的配置部署信息。本发明可快速提供部署网络需要的引擎配置，提高了存算颗粒摆放权重的效率。

公开(公告)号：CN116776943A

公开(公告)日：2023-09-19

申请号：CN202310725317.0

申请日：2023-06-19

申请人： 苏州亿铸智能科技有限公司

发明人： 章锦腾 ,  熊大鹏 ,  李涛 ,  周兵

IPC分类号： G06N3/063 ,  G06N3/045 ,  G06N3/0464 ,  G06F15/78 ,  G06F17/16

摘要： 本申请公开了一种存算一体芯片，所述存算一体芯片包括多个由片上网络连接的块，每个块均包括存算模块和向量处理模块，其中，所述存算一体芯片用于将神经网络的注意力权重分别存储在相应块的存算模块中；根据网络模型的配置参数将输入数据与注意力权重卷积运算得到的多个特征向量均拆分成相应的多个特征向量矩阵；以及将多个不同的特征向量矩阵分别发送至相应的多个块的向量处理模块中进行多头注意力运算得到多个注意力头矩阵。本申请还提供一种存算一体芯片的操作方法，可以实现注意力机制的多头并行运算，提高计算效率，减小推理过程的延迟时间。

公开(公告)号：CN116702845A

公开(公告)日：2023-09-05

申请号：CN202310048900.2

申请日：2023-02-01

申请人： 苏州亿铸智能科技有限公司

发明人： 景乃峰 ,  董光达 ,  熊大鹏 ,  李涛

IPC分类号： G06N3/063 ,  G06N3/0464

摘要： 本发明公开了一种基于ReRAM神经网络加速器的权重映射方法，属于神经网络加速器领域，方法包括：步骤1：以ReRAM阵列的Bank作为第一映射优先级，用来放置卷积输入通道；步骤2：以ReRAM阵列的Bank‑Row方向作为第二映射优先级，在卷积核的输出通道维度上，把不同通道的卷积核摆放置不同的Bank‑Row位置上，直到完成所有输入和输出通道的数据映射要求；步骤3：每个权重数据按照比特位的特定顺序规则排列在计算阵列的交叉电路中。本发明提出一种新颖的高并行度权重映射算法设计，极大程度挖掘了卷积和矩阵乘法计算的并行性的同时，也降低硬件复杂度的。

公开(公告)号：CN116306811A

公开(公告)日：2023-06-23

申请号：CN202310178399.1

申请日：2023-02-28

申请人： 苏州亿铸智能科技有限公司

发明人： 董光达 ,  余少华 ,  伍骏 ,  熊大鹏 ,  李涛

IPC分类号： G06N3/0464 ,  G06N3/063

摘要： 本发明公开了一种针对ReRAM部署神经网络的权重分配方法，属于神经网络技术领域，其方法包括：遍历神经网络结构，将权重进行转换，适配到存算神经网络计算引擎，每层的权重形成一个3维的小立方体；使用3d背包算法，遍历所有的权重立方体，将小立方体放到存算阵列转换的大立方体中，并获取对应的坐标信息。本发明转换了存算阵列视角，将权重存放问题抽象为传统的3d背包问题，便于使用成熟的算法解决陌生的问题，提高了权重存放的效率；同时适用于多数神经网络的权重存放，可复用性高，更利于神经网络的部署与存算神经网络计算引擎的迭代改进。

公开(公告)号：CN118034642B

公开(公告)日：2024-11-01

申请号：CN202410268795.8

申请日：2024-03-08

申请人： 苏州亿铸智能科技有限公司

发明人： 请求不公布姓名 ,  唐文超 ,  熊大鹏

IPC分类号： G06F7/52

摘要： 本申请公开一种浮点运算方法、装置、电子设备及存储介质，浮点运算方法包括：根据模型运算指令，获取第一向量和第二向量，第一向量包括多个第一元素，第二向量包括多个第二元素，第一元素和第二元素为浮点型数据，第一元素和第二元素一一对应；对第一向量中的所有元素和第二向量中的所有元素进行指数运算得到指数计算结果；根据指数计算结果对第一向量中的所有元素和第二向量中的所有元素进行尾数预对齐得到第一尾数向量和第二尾数向量；将第一尾数向量和第二尾数向量进行乘加运算得到尾数乘加结果；根据指数计算结果和尾数乘加结果进行规格化处理得到模型运算结果。本申请无需在乘加运算过程中进行对阶移位操作，提高计算效率。