本申请提供一种人工智能加速器及设计方法，人工智能加速器包括形成至少一个芯粒堆叠组的N个计算芯粒和M个缓存芯粒，N个计算芯粒和M个缓存芯粒在垂直方向上排列，每个芯粒堆叠组包括一个计算芯粒和至少一个缓存芯粒，缓存芯粒与计算芯粒通过垂直通孔连接，计算芯粒上部署片上网络，相邻芯粒堆叠组通过片上网络连接；芯粒堆叠组包括第一数目个存算核心，存算核心包括计算芯粒上的计算单元、调度控制单元和DMA写回单元，以及缓存芯粒上的缓存单元和DMA加载单元，调度控制单元控制计算单元、DMA写回单元、缓存单元和DMA加载单元协同进行数据计算与缓存。本申请可显著增加片上缓存与计算单元之间通信带宽，显著扩充片上缓存容量。