-
公开(公告)号:CN118862969B
公开(公告)日:2025-04-25
申请号:CN202411353441.X
申请日:2024-09-26
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本说明书公开了一种模型运算优化方法、装置、存储介质及电子设备。在本说明书提供的模型运算优化方法中,获取目标模型,并确定所述目标模型中包含的运算功能;根据所述运算功能,确定执行所述运算功能所需的算子;对各算子中的至少部分算子进行拆分;根据所述各算子的输入、输出以及运算类型,对所述各算子与拆分后的算子进行融合,得到若干融合算子;采用所述融合算子执行所述目标模型中包含的所述运算功能。
-
公开(公告)号:CN119473637A
公开(公告)日:2025-02-18
申请号:CN202510064880.7
申请日:2025-01-15
Applicant: 之江实验室
IPC: G06F9/50 , G06N3/063 , G06N3/0464
Abstract: 本说明书公开了一种计算任务规划方法、装置、存储介质及电子设备,获取待计算的神经网络层的计算数据的数据尺寸,根据参与神经网络层计算的计算核的总数量,确定各计算核需承担的计算任务对应的数据尺寸,对计算核需承担的计算任务对应的数据尺寸进行划分,得到子任务数据的数据尺寸,使计算核的存储容量与进行子任务数据对应计算任务所需的存储空间之间的差值最小化。子任务数据的数据尺寸为在一个通信周期,计算核读取的数据量,因为进行子任务数据对应计算任务所需的存储空间之间的差值最小化,所以应用本说明书中的方法,能够在神经网络的计算过程中,充分利用计算核的存储容量,实现资源利用率的最大化,从而加快神经网络计算的速度。
-
公开(公告)号:CN118862969A
公开(公告)日:2024-10-29
申请号:CN202411353441.X
申请日:2024-09-26
Applicant: 之江实验室
IPC: G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本说明书公开了一种模型运算优化方法、装置、存储介质及电子设备。在本说明书提供的模型运算优化方法中,获取目标模型,并确定所述目标模型中包含的运算功能;根据所述运算功能,确定执行所述运算功能所需的算子;对各算子中的至少部分算子进行拆分;根据所述各算子的输入、输出以及运算类型,对所述各算子与拆分后的算子进行融合,得到若干融合算子;采用所述融合算子执行所述目标模型中包含的所述运算功能。
-
公开(公告)号:CN119473637B
公开(公告)日:2025-05-02
申请号:CN202510064880.7
申请日:2025-01-15
Applicant: 之江实验室
IPC: G06F9/50 , G06N3/063 , G06N3/0464
Abstract: 本说明书公开了一种计算任务规划方法、装置、存储介质及电子设备,获取待计算的神经网络层的计算数据的数据尺寸,根据参与神经网络层计算的计算核的总数量,确定各计算核需承担的计算任务对应的数据尺寸,对计算核需承担的计算任务对应的数据尺寸进行划分,得到子任务数据的数据尺寸,使计算核的存储容量与进行子任务数据对应计算任务所需的存储空间之间的差值最小化。子任务数据的数据尺寸为在一个通信周期,计算核读取的数据量,因为进行子任务数据对应计算任务所需的存储空间之间的差值最小化,所以应用本说明书中的方法,能够在神经网络的计算过程中,充分利用计算核的存储容量,实现资源利用率的最大化,从而加快神经网络计算的速度。
-
公开(公告)号:CN119166948A
公开(公告)日:2024-12-20
申请号:CN202411629645.1
申请日:2024-11-15
Applicant: 之江实验室
IPC: G06F17/10 , G06N3/0499 , G06N3/084 , G06N3/063
Abstract: 本发明公开一种众核环境下自适应的dw类型算子数据分布方法和装置,通过获取参与计算的硬件设备参数以及计算任务参数,根据x和dy的形状搜索适应硬件设备参数的数据分布;根据数据分布和单次取数大小,将输入数据划分为多个块进行计算,最后根据得到的数据分布选择规约维度和连接写回维度写回。本发明能够针对计算芯片和参与计算的数据参数,自适应的搜索适应计算的数据分布,从而减少了因数据分布不合理导致的额外数据传输的开销,从而优化了算子性能。
-
-
-
-