算子的自动生成方法、装置、设备及介质

    公开(公告)号:CN116484947B

    公开(公告)日:2023-09-08

    申请号:CN202310744779.7

    申请日:2023-06-25

    摘要: 本发明公开了一种算子的自动生成方法、装置、设备及介质,包括:根据用户所输入的算法元语通过前端编译器进行编译获取初始前向数据流图;对初始前向数据流图中的各节点按照指定规则进行优化,获取优化前向数据流图;获取与优化前向数据流图所匹配的芯片指令集;根据芯片指令集通过后端编译器进行编译生成目标算法。通过前端编译器根据用户所输入的算法元语进行编译获取的初始前向数据流图后,对所获取的初始前向数据流图进行优化,并获取与优化后的前向数据流图所对应的芯片指令集,并通过后端编译器根据芯片指令集自动生成目标算法,从而在无需用户参数的情况下就可以基于DMA的多级缓存处理器设备自动生成算法。

    基于芯片多级存储的数据预取方法、装置、设备及介质

    公开(公告)号:CN116737605A

    公开(公告)日:2023-09-12

    申请号:CN202311007185.4

    申请日:2023-08-11

    发明人: 张殿臣 苏刚 田野

    摘要: 本发明公开了基于芯片多级存储的数据预取方法、装置、设备及介质。该方法包括:获取初始深度学习网络模型中的目标计算操作及对应目标预取数据;依据目标预取数据的数据空间和预取时长,及目标计算操作在初始深度学习网络模型中的目标位置,确定目标预取数据对应的目标预取插入点生成基础深度学习网络模型;依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置,确定目标预取数据对应的目标释放插入点生成目标深度学习网络模型;触发执行目标深度学习网络模型,依据目标深度学习网络模型中目标预取插入点及目标释放插入点,实现目标预取数据的数据预取与释放。通过本发明的技术方案,能够提高人工智能芯片的数据存取效率。

    算子的自动生成方法、装置、设备及介质

    公开(公告)号:CN116484947A

    公开(公告)日:2023-07-25

    申请号:CN202310744779.7

    申请日:2023-06-25

    摘要: 本发明公开了一种算子的自动生成方法、装置、设备及介质,包括:根据用户所输入的算法元语通过前端编译器进行编译获取初始前向数据流图;对初始前向数据流图中的各节点按照指定规则进行优化,获取优化前向数据流图;获取与优化前向数据流图所匹配的芯片指令集;根据芯片指令集通过后端编译器进行编译生成目标算法。通过前端编译器根据用户所输入的算法元语进行编译获取的初始前向数据流图后,对所获取的初始前向数据流图进行优化,并获取与优化后的前向数据流图所对应的芯片指令集,并通过后端编译器根据芯片指令集自动生成目标算法,从而在无需用户参数的情况下就可以基于DMA的多级缓存处理器设备自动生成算法。

    张量切分模式的确定方法、装置、计算机设备及介质

    公开(公告)号:CN114723014A

    公开(公告)日:2022-07-08

    申请号:CN202210415394.1

    申请日:2022-04-20

    发明人: 万学磊 田野

    IPC分类号: G06N3/04 G06N3/08 G06N3/063

    摘要: 本发明实施例公开了一种张量切分模式的确定方法、装置、计算机设备及介质。该方法包括获取包括多个计算算子的待张量切分的计算图;根据与计算算子对应的可选张量切分模式集,确定与计算图对应的包括多个目标计算算子和目标计算算子的目标张量切分模式的数据条目集;根据各目标张量切分模式,计算各数据条目分别对应的计算耗时;根据在数据条目集中选取的多个数据条目对,生成多个交叉数据条目,并根据各所述交叉数据条目的计算耗时,更新数据条目集;在更新后的数据条目集中获取目标数据条目,从而确定计算图中各计算算子的张量切分模式。本发明实施例的技术方案提供一种可适用复杂场景,能够高效确定算子较优切分模式的方法。

    一种训练图处理方法、装置、设备及存储介质

    公开(公告)号:CN116957108A

    公开(公告)日:2023-10-27

    申请号:CN202310923828.3

    申请日:2023-07-26

    IPC分类号: G06N20/00

    摘要: 本发明公开了一种训练图处理方法、装置、设备及存储介质。包括:获取训练图,根据预置的节点清单确定第一记录数据;根据训练图建立优化器的权重联动关系,根据权重联动关系确定第二记录数据;当检测到发送数据时,根据发送数据、第一记录数据和第二记录数据生成训练图处理结果。通过节点清单确定不需要插入转换算子的权重或权重梯度以生成第一记录数据,通过训练图建立优化器的权重联动关系,进而生成第二记录数据,当检测到发送数据时可以通过判断权重张量实现对第一记录数据和第二记录数据的修改,最终生成训练图处理结果,避免芯片在与第三方框架对接时因为格式不匹配而出现的格式转换算子数量过多,模型训练效率低的问题,提升了训练性能。

    基于芯片多级存储的数据预取方法、装置、设备及介质

    公开(公告)号:CN116737605B

    公开(公告)日:2023-11-14

    申请号:CN202311007185.4

    申请日:2023-08-11

    发明人: 张殿臣 苏刚 田野

    摘要: 本发明公开了基于芯片多级存储的数据预取方法、装置、设备及介质。该方法包括:获取初始深度学习网络模型中的目标计算操作及对应目标预取数据;依据目标预取数据的数据空间和预取时长,及目标计算操作在初始深度学习网络模型中的目标位置,确定目标预取数据对应的目标预取插入点生成基础深度学习网络模型;依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置,确定目标预取数据对应的目标释放插入点生成目标深度学习网络模型;触发执行目标深度学习网络模型,依据目标深度学习网络模型中目标预取插入点及目标释放插入点,实现目标预取数据的数据预取与释放。通过本发明的技术方案,能够提高人工智能芯片的数据存取效率。