一种基于搜索的深度学习模型部署方法及装置

    公开(公告)号:CN116306856B

    公开(公告)日:2023-09-05

    申请号:CN202310557259.5

    申请日:2023-05-17

    Abstract: 本说明书公开了一种基于搜索的深度学习模型部署方法及装置,可以获取深度学习模型所对应的计算图,确定计算图中包括的算子,并确定每个算子匹配的硬件资源,而后,根据各算子匹配的硬件资源,构建搜索空间,从搜索空间中选取出目标样本,并确定目标样本对应的运行时长,以及确定目标样本对应的邻域样本,并确定邻域样本对应的运行时长,若邻域样本对应的运行时长短于目标样本的运行时长,将邻域样本作为重新确定出的目标样本,并继续确定目标样本对应的邻域样本以及对应的运行时长,直到满足预设迭代终止条件为止,按照目标样本所对应的分配方案,对深度学习模型的算子进行硬件资源的分配,以进行部署,本方法可以提高深度学习模型的计算效率。

    一种基于存算一体系统的数据处理方法及装置

    公开(公告)号:CN116306855B

    公开(公告)日:2023-09-01

    申请号:CN202310555078.9

    申请日:2023-05-17

    Abstract: 本说明书公开了一种基于存算一体系统的数据处理方法及装置,根据目标模型确定目标单元的目标数量以及各目标单元对应的控制向量,从存算一体系统的各数据处理单元中选择目标数量的目标单元,进而根据各目标单元对应的控制向量,从各类型的候选操作中,分明别确定各目标单元对应的目标操作,以便将各目标单元的输入分别输入到各目标单元中,对各目标单元的输入采用目标操作执行数据处理,得到目标模型的输出数据。可见,基于目标单元对应的控制向量确定目标单元执行的目标操作的方式,仅通过改变控制向量就能够兼容不同架构的模型,无需进行电路结构的重新设计,扩展了基于存算一体电路的模型推理的场景,并提高了效率。

    一种算子优化方法、装置、存储介质及电子设备

    公开(公告)号:CN116663618A

    公开(公告)日:2023-08-29

    申请号:CN202310941263.1

    申请日:2023-07-28

    Abstract: 本说明书公开了一种算子优化方法、装置、存储介质及电子设备。在本说明书提供的算子优化方法中,获取目标神经网络模型,并确定目标神经网络模型的计算图;针对计算图中每个算子,确定包含该算子所有可行解的搜索空间;在搜索空间中选择若干可行解作为候选解,确定各候选解的评估值,并将评估值最高的作为待定解;确定目标硬件运行待定解的运行时间,并增加迭代次数;当运行时间小于当前最优时间或不存在当前最优时间时,将运行时间确定为当前最优时间,并将待定解确定为当前最优解;当迭代次数小于指定次数时,重新在该算子的搜索空间中选择指定数量个未被选择过的候选解;当迭代次数不小于指定次数时,将当前最优解确定为该算子的最优解。

    一种基于存算一体系统的数据处理方法及装置

    公开(公告)号:CN116306855A

    公开(公告)日:2023-06-23

    申请号:CN202310555078.9

    申请日:2023-05-17

    Abstract: 本说明书公开了一种基于存算一体系统的数据处理方法及装置,根据目标模型确定目标单元的目标数量以及各目标单元对应的控制向量,从存算一体系统的各数据处理单元中选择目标数量的目标单元,进而根据各目标单元对应的控制向量,从各类型的候选操作中,分明别确定各目标单元对应的目标操作,以便将各目标单元的输入分别输入到各目标单元中,对各目标单元的输入采用目标操作执行数据处理,得到目标模型的输出数据。可见,基于目标单元对应的控制向量确定目标单元执行的目标操作的方式,仅通过改变控制向量就能够兼容不同架构的模型,无需进行电路结构的重新设计,扩展了基于存算一体电路的模型推理的场景,并提高了效率。

    一种散热系统的控制方法、装置、存储介质及电子设备

    公开(公告)号:CN116225192A

    公开(公告)日:2023-06-06

    申请号:CN202310509059.2

    申请日:2023-05-08

    Abstract: 本说明书公开了一种散热系统的控制方法、装置、存储介质及电子设备,本说明书实施例先根据历史上散热系统对计算集群散热时的各历史记录中确定出用于控制散热的各策略组合,针对每个策略组合,对各历史记录进行处理,确定在该策略组合下特征向量涉及的至少一个特征维度所对应的特征值范围,作为该策略组合的适用条件。根据每个策略组合的适用条件,构建模型,并通过模型输出的目标策略组合控制散热系统。在此方法中,通过对各历史记录进行分析,确定出采用每个策略组合所适用的条件。当需要控制散热系统时,将当前散热系统和计算集群的状态信息与各条件进行匹配,以确定出匹配上的条件所对应的目标策略组合,以控制散热系统。

    一种模型数据的存储方法、装置、存储介质及电子设备

    公开(公告)号:CN116185307A

    公开(公告)日:2023-05-30

    申请号:CN202310448220.X

    申请日:2023-04-24

    Abstract: 本说明书公开了一种模型数据的存储方法、装置、存储介质及电子设备。所述模型数据的存储方法包括:接收模型数据的存储请求并获取模型数据,确定所述模型数据的属性信息,根据所述属性信息,确定所述模型数据对应的存储位置,若所述存储位置位于所述AI加速器的本地存储单元,则确定与所述属性信息相匹配的压缩方式,作为目标压缩方式,通过所述目标压缩方式对所述模型数据进行压缩,并将压缩后的模型数据存储在所述本地存储单元中的所述存储位置,以及若所述存储位置位于所述AI加速器的远端存储单元,则将所述模型数据存储在所述远端存储单元中的所述存储位置。

    一种模型训练的方法以及任务执行方法及装置

    公开(公告)号:CN116777010B

    公开(公告)日:2023-12-19

    申请号:CN202311080508.2

    申请日:2023-08-25

    Abstract: 本说明书公开了一种模型训练的方法以及任务执行方法及装置,可以将获取到的在指定空间中混合物态在第一时刻下的各物理场数据输入到预测模型中,来训练该预测模型,这样一来,在将训练后的预测模型应用到实际任务执行的过程中时,相比于现有技术并不需要耗费过多的时间来一步步推导出下一时刻的指定空间中混合物态在第二时刻下的各物理场数据,这样不仅提高了预测物理场数据的效率,而且由于在训练阶段,是以混合物态在第一时刻和第二时刻前后之间的质量分布符合质量约束为条件,对预测模型进行训练,所以可以保证预测模型在实际应用中所预测出的物理场数据的准确性。(56)对比文件Shuai Wang et al..Multi-scalenumerical simulation of fluidized beds:Model applicability assessment.《Particuology 80》.2022,11-41.

    一种算子优化调度模型的训练方法、装置、介质及设备

    公开(公告)号:CN116755862B

    公开(公告)日:2023-12-19

    申请号:CN202311010092.7

    申请日:2023-08-11

    Abstract: 本说明书公开了一种算子优化调度模型的训练方法、装置、介质及设备,包括:确定当前时刻作为训练样本的预先基于图像数据训练的图像分类模型中的各算子的信息,并输入待训练的算子优化调度模型,确定当前时刻待优化算子。确定对待优化算子进行优化后的待优化算子对图像数据进行图像分类时的运行下降时间。再根据信息、待优化算子以及待优化算子对图像数据进行图像分类时的运行下降时间,对待训练的算子优化调度模型进行训练,使得可以通过训练完成的算子优化调度模型确定当前时刻所需调度进行优化的算子,减少人工设计选择所需优化的算子的策略的麻烦,加快后续将待部署的图像分类模型部署到硬件上的速度。

Patent Agency Ranking