本发明提出一种分布式神经网络加速器系统，主机节点配置为：向每一加速器节点进行远程认证，利用神经网络编译器对模型进行编译，生成数据流图，并确定各个加速器节点间子图的依赖关系；对编译后的模型进行切分，将各个子图分配到各加速器节点。每一子图的计算层包含：一接口层，以可转移张量表示，包含转移张量数据、第一辅助数据；转移张量数据保存在片外存储器，第一辅助数据保存在片上存储器；一内部层，以普通张量表示，包含普通张量数据、第二辅助数据；普通张量数据保存在片外存储器，第二辅助数据包含第二张量版本号、第二张量MAC，第二张量版本号保存在片上存储器，第二张量MAC保存在片外存储器。其减少了VN的内存访问开销和存储开销。