可重构电路、可重构芯粒间互联的装置及其方法

    公开(公告)号:CN117056279B

    公开(公告)日:2024-01-26

    申请号:CN202311320181.1

    申请日:2023-10-12

    申请人: 之江实验室

    摘要: 本申请提供一种可重构电路、可重构芯粒间互联的装置及其方法。该可重构电路包括可重构互联模块及控制模块,可重构互联模块用于与一个微凸点组对应连接,微凸点组包括多个微凸点。可重构互联模块包括多个可重构的开关单元。每一个开关单元具有控制端、输入端及输出端,开关单元的控制端连接到控制模块,开关单元的输入端用于接收来自功能模块或测试模块的接口信号,开关单元的输出端用于连接微凸点组中的一个微凸点。控制模块用于接收外部的控制数据,并根据控制数据来控制可重构互联模块中多个开关单元的通断以选择合适的微凸点连通。在开关单元闭合时,与开关单元连接的对应微凸点连通,接口信号可通过开关单元的输入端传递到微凸点。

    一种基于序列生成的异构芯片任务调度方法以及装置

    公开(公告)号:CN116932175B

    公开(公告)日:2024-01-09

    申请号:CN202311208268.X

    申请日:2023-09-19

    申请人: 之江实验室

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本说明书公开了一种基于序列生成的异构芯片任务调度方法以及装置,针对每个待调度任务,确定该待调度任务在各芯片上分别对应的执行时间,再确定各芯片分别对应的空闲时刻,根据各芯片分别对应的空闲时刻、各待调度任务在各芯片上分别对应的执行时间,生成调度序列,以根据调度序列调度各芯片执行各待调度任务。在包含异构芯片的计算集群中存在处于空闲状态的芯片的情况下,尽可能为该处于空闲状态的芯片分配与其匹配的任务,保证了任务执行效率。

    一种任务执行方法、装置、存储介质及电子设备

    公开(公告)号:CN116225669A

    公开(公告)日:2023-06-06

    申请号:CN202310509060.5

    申请日:2023-05-08

    申请人: 之江实验室

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本说明书公开了一种任务执行方法、装置、存储介质及电子设备,可以预先确定出所有可以并行执行的算子组合,进而可以在响应于用户发起的任务请求进行任务执行时,确定需要执行该任务对应的各可执行算子与正在执行其他任务的芯片正在执行的其他任务的算子是否有匹配的可以并行执行的算子组合,若有,则可以通过正在执行其他任务的芯片并行执行该任务请求对应的任务,从而可以提升芯片的计算资源的利用率。

    一种面向芯粒的深度神经网络流水线并行调度方法及装置

    公开(公告)号:CN115421897B

    公开(公告)日:2023-03-24

    申请号:CN202211381782.9

    申请日:2022-11-07

    申请人: 之江实验室

    IPC分类号: G06F9/48 G06N3/0464 G06N3/063

    摘要: 本发明公开了一种面向芯粒的深度神经网络流水线并行调度方法及装置,该方法包括:获取深度神经网络和芯粒拓扑结构;根据所述深度神经网络,构造深度神经网络计算图并对所述深度神经网络计算图进行缩减;根据缩减后的深度神经网络计算图划分流水线组,得到流水线组图;根据所述流水线组图和芯粒拓扑结构,划分流水线并行区域;根据划分后的流水线并行区域和所述芯粒拓扑结构确定深度神经网络流水线并行调度策略;按照所述深度神经网络流水线并行调度策略,将所述深度神经网络部署到芯粒上,执行深度神经网络流水线并行推理。

    芯粒中神经网络推理的模块化调度方法、装置和计算设备

    公开(公告)号:CN115658274A

    公开(公告)日:2023-01-31

    申请号:CN202211425389.5

    申请日:2022-11-14

    申请人: 之江实验室

    IPC分类号: G06F9/48 G06F9/50 G06N3/063

    摘要: 本发明公开了一种芯粒中神经网络推理的模块化调度方法、装置和计算设备,包括:获取在芯粒中进行神经网络推理的调度策略搜索空间;获取并依据神经网络的计算图生成算子深度,依据计算图将算子划分为串行组;依据算子间的数据依赖关系、算子深度和串行组,划分计算图得到数据依赖模块和并行数据依赖模块;计算数据依赖模块的数据依赖复杂度,依据数据依赖复杂度、并行数据依赖模块以及芯粒资源总数计算算子的最大可用资源分配数量,作为调度策略迭代搜索的初始约束;依据调度策略搜索空间和初始约束迭代搜索使得计算开销、算子内和算子间数据传输开销、芯粒多级路由产生的拥塞开销之和最小的数据依赖模块调度策略。

    基于Tensor访问的深度学习内存管理方法及系统

    公开(公告)号:CN112306697B

    公开(公告)日:2021-04-27

    申请号:CN202011619848.4

    申请日:2020-12-31

    IPC分类号: G06F9/50 G06N3/04 G06N3/08

    摘要: 本发明提供了一种基于Tensor访问的深度学习内存管理方法,该方法通过收集神经网络的执行信息和硬件平台的性能信息获得相关决策下的内存空间开销和时间开销,并建立整数线性规划模型,通过在约束条件下优化求解最优的Tensor调度策略,从而解决内存不足问题的同时获得较高的深度学习训练性能。相比于现有技术,相同的硬件性能下,本发明可以实现更大的batchsize的神经网络训练。本发明同时还提出了一种内存管理系统,包括profile模块、决策模块和执行模块;该系统可直接添加在深度学习框架上,使用方便。

    支持深度神经网络推理加速的异构存算融合系统及方法

    公开(公告)号:CN112149816B

    公开(公告)日:2021-02-12

    申请号:CN202011340107.2

    申请日:2020-11-25

    申请人: 之江实验室

    IPC分类号: G06N3/063 G06K9/00 G06F15/78

    摘要: 本发明公开了一种支持深度神经网络推理加速的异构存算融合系统及方法,包括:主机处理器,用于控制和管理整个异构存算融合系统;非易失内存模块,与所述主机处理器相连,用于神经网络处理;3D堆叠内存模块,与所述主机处理器相连,用于神经网络处理;网络模块,与所述主机处理器相连,用于与外部主机连接;配置电路,与所述主机处理器相连,用于接收所述主机处理器的配置命令并控制电压发生器,也用于接收所述主机处理器的配置命令并配置3D堆叠内存模块;电压发生器,分别与所述非易失内存模块和配置电路相连,用于接收所述配置电路的控制命令,对所述非易失内存模块施加外部激励,调节其电导状态。

    一种联邦学习模型训练方法、装置及联邦学习系统

    公开(公告)号:CN112232528A

    公开(公告)日:2021-01-15

    申请号:CN202011473442.X

    申请日:2020-12-15

    申请人: 之江实验室

    IPC分类号: G06N20/20 G06F21/60

    摘要: 本发明公开了一种联邦学习模型训练方法、装置及联邦学习系统,边缘计算服务器和端设备接收云端联邦学习子系统形成的全局机器学习模型信息;一个边缘计算服务器与一个以上的端设备利用网络局部性的优势形成区域,端设备依靠本地数据并采用截断的方式完成模型本地训练,边缘计算服务器负责所辖区域内端设备的多轮更新并向云端联邦学习子系统发送更新后的模型信息;边缘计算服务器也采用截断的方式完成模型本地训练,云端联邦学习子系统负责多个边缘计算服务器的梯度更新;在训练到达收敛期,分别对边缘计算服务器所辖区域内端设备和云端联邦学习子系统负责的多个边缘计算服务器实施截断节点的补偿,形成全局机器学习模型信息。