面向异构计算资源的深度强化学习协同调度方法及装置

    公开(公告)号:CN117909044A

    公开(公告)日:2024-04-19

    申请号:CN202410033480.5

    申请日:2024-01-09

    IPC分类号: G06F9/48 G06F9/50 G06N3/092

    摘要: 本发明涉及人工智能算力资源调度技术领域,公开了面向异构计算资源的深度强化学习协同调度方法及装置,该方法包括:获取深度学习任务以及异构计算环境信息,异构计算环境为云边协同环境;根据深度学习任务以及异构计算环境信息构建任务调度模型;采用基于深度强化学习的任务调度算法根据任务调度模型对深度学习任务进行调度。本发明实现了在调度过程中考虑深度学习任务以及异构计算环境信息的目的,利用构建的任务模型采用基于深度强化学习的任务调度算法对深度学习任务进行调度,达到了充分利用反馈信息、提高深度学习任务协同调度的灵活性、实时性、泛化能力以及自适应性的效果,解决了相关技术中存在的深度学习任务调度质量较差的问题。

    一种深度学习技术工具链系统

    公开(公告)号:CN112926736B

    公开(公告)日:2023-12-08

    申请号:CN202110221144.X

    申请日:2021-02-26

    摘要: 型迁移时间和成本。本发明公开了一种深度学习技术工具链系统,包括:深度学习技术工具链系统架构、深度学习技术工具链的接口定义与组件实现、灵活查询模块,深度学习技术工具链系统架构为以模型仓库为核心的架构,通过深度学习训练的流程将整个系统分为几个相互独立而又互相依赖的功能模块,通过定义深度学习技术工具链每个功能模块的接口,将接口与实现分离,在接口的基础上实现深度学习工具链的各模块,通过灵活查询模块自定义各种查询条件,在每个流程模块生成供下一流程模块使用所需的数据,实现了从原始数据到标注数据再到样本数据到模型再到应用的(56)对比文件邢源“.面向大数据的机器学习算法支撑平台设计与实现”《.硕士电子期刊》.2019,(第第08期期),第1-8章.

    基于叠加扩散模型的推理网络仿真流量生成方法和装置

    公开(公告)号:CN118827410A

    公开(公告)日:2024-10-22

    申请号:CN202410839469.8

    申请日:2024-06-26

    IPC分类号: H04L41/14 H04L41/16

    摘要: 本发明涉及一种基于叠加扩散模型的推理网络仿真流量生成方法和装置,包括将网络流量样本转换为视频样本数据;利用视频样本数据和样本指示文本对待训练的叠加扩散模型进行训练和推理,得到已训练的叠加扩散模型;利用目标大模型和待生成网络流量的指示文本对已训练的叠加扩散模型进行微调,通过待生成网络流量的指示文本和已微调后的叠加扩散模型,得到待转换视频数据,并将待转换视频数据转换成网络流量序列进行输出。本发明解决传统流量生成方法无法为智算数据中心的设计和建设提供更为准确和可靠的流量数据支持的技术问题。本发明还涉及一种设备和存储介质。

    一种块稀疏化及负载的均衡方法、装置、设备及介质

    公开(公告)号:CN118733265A

    公开(公告)日:2024-10-01

    申请号:CN202410849661.5

    申请日:2024-06-27

    IPC分类号: G06F9/50 G06N3/063 G06N3/0495

    摘要: 本发明属于计算机技术领域,公开一种块稀疏化及负载的均衡方法、装置、设备及介质,所述方法包括:获取原始权重矩阵,所述原始权重矩阵包括多个权重系数;对获取的原始权重矩阵进行预处理获得预处理后权重矩阵;所述预处理后权重矩阵中对角线区域稠密度高于原始权重矩阵对角线区域稠密度;对预处理后权重矩阵进行划分,得到多个矩阵块,每个矩阵块对应分配一个众核系统的核心进行处理。本发明把一个全局均稀疏的矩阵,变为局部稠密其余系数的矩阵,在通过核心进行运算时,相对处理前的矩阵,实现更多在稠密计算上,从而提高计算效率。解决了通过众核系统进行脑仿真时,超大规模矩阵所带来的计算难度大以及负载不均匀的技术问题。