-
公开(公告)号：CN117032936A
公开(公告)日：2023-11-10
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算资源消耗高的问题。
-
公开(公告)号：CN116402165B
公开(公告)日：2023-09-01
申请号：CN202310669720.6
申请日：2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种算子检测的方法、装置、存储介质以及电子设备，本说明书提供的算子检测方法可以获取待检测算子，将校验数据输入到该待检测算子中，得到该待检测算子输出的第一结果，以及将该校验数据输入到确定出的与待检测算子对应的至少一个参考算子中，得到经过至少一个参考算子对校验数据进行数据处理后所得到的第二结果，最后，根据第一结果以及所述第二结果，对待检测算子进行检测，本方法通过确定出和待检测算子功能相符的参考算子，并通过相同的校验数据分别输入到待检测算子和参考算子，从而通过将得出的结果进行对比，可以对待检测算子进行检测，提高了深度学习模型中算子的功能准确性。
-
公开(公告)号：CN116402165A
公开(公告)日：2023-07-07
申请号：CN202310669720.6
申请日：2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种算子检测的方法、装置、存储介质以及电子设备，本说明书提供的算子检测方法可以获取待检测算子，将校验数据输入到该待检测算子中，得到该待检测算子输出的第一结果，以及将该校验数据输入到确定出的与待检测算子对应的至少一个参考算子中，得到经过至少一个参考算子对校验数据进行数据处理后所得到的第二结果，最后，根据第一结果以及所述第二结果，对待检测算子进行检测，本方法通过确定出和待检测算子功能相符的参考算子，并通过相同的校验数据分别输入到待检测算子和参考算子，从而通过将得出的结果进行对比，可以对待检测算子进行检测，提高了深度学习模型中算子的功能准确性。
-
公开(公告)号：CN117892769B
公开(公告)日：2024-06-11
申请号：CN202410296736.1
申请日：2024-03-15
Applicant: 之江实验室
Abstract: 本申请涉及一种神经网络训练方法、显存调度方法、系统、设备和产品，通过对第一神经网络在训练过程中的多个张量执行显存调度，记录各张量在显存调度期间对应的显存信息和重用距离，显存信息包括对应于各张量的显存占用量、显存利用率以及适用于各张量的显存释放模式；以各张量的显存占用量、显存利用率和重用距离作为样本数据的输入，以适用于各张量的显存释放模式作为样本数据的输出，构建训练数据集；根据训练数据集训练初始的第二神经网络，得到经训练的第二神经网络，经训练的第二神经网络可作为线上显存优化的决策引擎，使得决策引擎能够适用于多GPU训练场景的显存调度。
-
公开(公告)号：CN117032936B
公开(公告)日：2024-02-06
申请号：CN202311267177.3
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F9/48 , G06F9/50 , G06F18/214 , G06N3/006
Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括：对TPU上的数据进行分块，将加载时间和卸载时间均相同的数据划分为同一数据块；基于数据块所对应的加载时间和卸载时间，得到数据调度模型的初始参数；基于每块TPU存储量的大小，得到数据块占用TPU数量的时间分布；根据数据块占用TPU数量的时间分布，计算资源消耗量；利用粒子群优化算法，对初始数据调度模型的参数进行优化训练，直至按照训练后的数据调度模型进行数据调度的资源消耗量，达到按照预设的最少的TPU数量计算得到的资源消耗量时，停止训练，得到完备数据调度模型；基于完备数据调度模型，对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算
-
Patent Agency Ranking
公开(公告)号：CN116991429B
公开(公告)日：2024-01-16
申请号：CN202311266395.5
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F8/41 , G06F18/214
Abstract: 本申请涉及一种计算机程序的编译调优方法、装置和存储介质，其中，该编译调优方法包括：选择样本硬件集合和样本程序集合并为每个样本程序随机生成优化序列，对每种样本程序与优化序列的组合进行编译、特征抽取以及运行，得到训练数据集，基于训练数据集对预设的多任务学习模型进行训练，得到预训练模型，基于预训练模型进行成本函数模型的初始化，得到目标成本函数模型，利用该目标成本函数模型对目标源程序进行调优，得到目标源程序的最优优化序列。通过本申请，解决了相关技术中计算机程序编译调优效率低下的问题，提高了计算机程序的编译调优效率。
-
公开(公告)号：CN117950645B
公开(公告)日：2024-08-02
申请号：CN202410339678.6
申请日：2024-03-25
Applicant: 之江实验室
Abstract: 本发明提供一种基于硬件特征的算子调度方案自动搜索方法与系统。该方法是通过获取算子输入数据的维度信息、目标硬件的硬件特征以及包含各存储层级的容量和硬件指令支持情况；再根据目标硬件的存储层级从高到低，递归地在每一个层级上，基于贪心策略搜索该层级可接受的最佳可行的数据搬运方案；其中各层级的数据搬运方案共同构成算子的调度方案；最后进行性能评估。基于搜索到的若干个算子调度方案，通过CodeGen技术生成目标硬件上的若干个算子实现，进而在硬件上测试选出性能最优的算子调度方案。因此，本发明的技术方案能够节省算力的情况下保证算子调度的优化。
-
公开(公告)号：CN117171577B
公开(公告)日：2024-03-22
申请号：CN202311450171.X
申请日：2023-11-02
Applicant: 之江实验室
IPC: G06F18/214
Abstract: 本说明书公开了一种高性能算子选择的动态决策方法及装置，包括：在选择模型中特定算子应该由算子库中具体的哪一个算子实现时，需要定位到模型中特定算子的shape特征的特征区间下，并确定该特征区间下的性能排序子表是否被更新过，若是，则可以直接通过该特征区间下更新好的性能排序子表选取出目标算子，若还未更新，则在模型训练阶段可以在每一轮训练时选取不同的算子在模型中进行训练，从而得到算子的性能分数，对性能排序子表进行更新，那么在后续训练这个模型（或者其他模型中需要相同特征区间下的shape特征的算子）时，可以直接使用该性能排序子表选取出合适的算子，从而相比于现有技术能够更加准确的选择出性能良好的算子。
-
公开(公告)号：CN116881618A
公开(公告)日：2023-10-13
申请号：CN202311078065.3
申请日：2023-08-25
Applicant: 之江实验室
Abstract: 本申请涉及一种通用矩阵乘计算优化方法、装置及处理器，该方法应用于处理器，处理器包括至少一个计算核心，计算核心包括算术逻辑单元、数据缓存和寄存器，包括：基于算术逻辑单元的宽度、寄存器的数量、数据缓存的容量，以及预先确定的用于构成通用矩阵乘算子内核的计算核心数量，确定通用矩阵乘算子内核的尺寸；基于算子内核的尺寸、预先确定的基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，优化并行计算的计算核心数量；基于并行计算的计算核心数量、基本块矩阵的尺寸，以及左矩阵、右矩阵的尺寸，对数据缓存中通用矩阵乘计算区域的分块计算进行优化，解决了通用矩阵乘计算硬件资源利用率较低，数据访存开销较大的问题。
-
公开(公告)号：CN116483547A
公开(公告)日：2023-07-25
申请号：CN202310742056.3
申请日：2023-06-21
Applicant: 之江实验室
Abstract: 本申请涉及一种资源调度方法、装置、计算机设备和存储介质。所述方法包括：获取待调度的容器组；基于待调度的容器组，确定集群中与容器组匹配的目标节点；在待调度的容器组的优先级标志位为低延迟的情况下，将目标节点中的处理器资源分配至容器组中的容器，生成资源调度结果。采用本方法能够解决不同容器间资源抢占的问题。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.019 seconds)
