一种多用户GPU集群的深度学习任务调度方法

    公开(公告)号:CN118093208A

    公开(公告)日:2024-05-28

    申请号:CN202410510424.6

    申请日:2024-04-26

    IPC分类号: G06F9/50 G06T1/20 G06N3/063

    摘要: 本发明公开了一种多用户GPU集群的深度学习任务调度方法,包括:构建深度学习任务对象,并将对应的深度学习任务发射到集群中;获取每个已发射任务的状态,并根据调度器的信号或任务本身状态的变化修改对应的任务状态;获取所述集群中的资源状态,并根据所述集群的反馈信息确定每个已发射任务对应的资源占用情况;根据每个已发射任务对应的资源占用情况和任务状态,利用短任务优先的资源共享策略对待分配任务进行资源分配;本发明依靠短任务优先的资源共享策略,在缓解任务资源饥饿问题的同时,降低了整体的任务完成时间,提高了深度学习任务的调度效率。

    一种基于动态电压频率调整的能源效率优化方法

    公开(公告)号:CN118868077A

    公开(公告)日:2024-10-29

    申请号:CN202411095327.1

    申请日:2024-08-12

    发明人: 侯帅 王强 施少怀

    IPC分类号: H02J3/00 H02J3/24 G01R23/02

    摘要: 本发明公开了一种基于动态电压频率调整的能源效率优化方法,包括:在大型语言模型的离线状态下,对不同负载大小的数据进行能耗测试,得到不同动态电压频率调整配置下的能耗表现;根据得到的不同动态电压频率调整配置下的能耗表现,确定各个批量在预填充阶段和解码阶段的最佳动态电压频率调整配置;根据确定的最佳动态电压频率调整配置调整图形处理器内核频率和内存频率,以对大型语言模型推理的能源效率进行优化;本发明提出了一种基于动态电压频率调节(DVFS)的优化方案,针对大模型推理的预填充阶段和解码阶段,分别应用不同的动态电压频率调整配置以实现能耗优化。

    一种多用户GPU集群的深度学习任务调度方法

    公开(公告)号:CN118093208B

    公开(公告)日:2024-07-26

    申请号:CN202410510424.6

    申请日:2024-04-26

    IPC分类号: G06F9/50 G06T1/20 G06N3/063

    摘要: 本发明公开了一种多用户GPU集群的深度学习任务调度方法,包括:构建深度学习任务对象,并将对应的深度学习任务发射到集群中;获取每个已发射任务的状态,并根据调度器的信号或任务本身状态的变化修改对应的任务状态;获取所述集群中的资源状态,并根据所述集群的反馈信息确定每个已发射任务对应的资源占用情况;根据每个已发射任务对应的资源占用情况和任务状态,利用短任务优先的资源共享策略对待分配任务进行资源分配;本发明依靠短任务优先的资源共享策略,在缓解任务资源饥饿问题的同时,降低了整体的任务完成时间,提高了深度学习任务的调度效率。

    基于自动网络压缩的双目深度估计方法及装置

    公开(公告)号:CN118365688A

    公开(公告)日:2024-07-19

    申请号:CN202410355410.1

    申请日:2024-03-27

    摘要: 本发明公开了一种基于自动网络压缩的双目深度估计方法及装置,方法包括:获取左视图和右视图及对应的左视差图和右视差图;构建双目深度估计模型,所述双目深度估计模型包括NASCNet网络和NASSNet网络,在NASCNet网络的特征提取模块中加入残差块代替DispNetC中的卷积层,并利用点相关层优化DispNetC中的特征提取操作;采用渐进搜索策略对双目深度估计模型进行训练,首先训练模型结构最大的网络,将搜索的卷积核大小、模型深度、模型宽度和搜索规模设置为可选范围内的最大值,然后依次进行对卷积核大小、模型深度、模型宽度的自动搜索;基于训练好的双目深度估计模型对待检测的图像进行双目深度估计。本发明通过构建的双目深度估计模型和自动搜索策略来提高估计精度和速度。

    多任务因果学习的图像检测方法、装置、设备及介质

    公开(公告)号:CN116958748A

    公开(公告)日:2023-10-27

    申请号:CN202310947023.2

    申请日:2023-07-28

    摘要: 本发明涉及图像检测技术领域,公开了多任务因果学习的图像检测方法、装置、设备及介质,方法包括:根据多个样本特征对同一任务的重要性分数,从多个样本特征中筛选出干预特征;根据合并反事实特征,以及第二任务的反事实特征,确定第一任务对第二任务的因果亲和力;分别根据每个任务的反事实特征和样本特征的预测损失值生成第一正则约束项;根据第一任务的样本特征的预测损失值、第二任务的样本特征的预测损失值以及第一任务对第二任务的因果亲和力,生成第二正则约束项;根据判别损失函数、第一正则约束项和第二正则约束项,生成预测损失函数;根据预测损失函数对任务模型进行训练得到优化后的多任务模型。本发明能够提高图像检测的性能。

    一种通过动态和静态信息融合的GPU能源效率优化方法

    公开(公告)号:CN118113561B

    公开(公告)日:2024-08-02

    申请号:CN202410533884.0

    申请日:2024-04-30

    IPC分类号: G06F11/30 G06F11/34 G06N3/08

    摘要: 本发明公开了一种通过动态和静态信息融合的GPU能源效率优化方法,包括:基于GPU性能分析工具获取GPU运行的动态信息;根据内核的GPU汇编代码构建静态信息模型,并根据所述静态信息模型获取所述GPU运行的静态信息;通过GPU动态电压和频率调节模型对所述动态信息和所述静态信息进行分析,得到能源与性能优化参数,并根据所述能源与性能优化参数进行动态配置。本发明利用DCGM工具的硬件状态信息和PTX解析器的GPU内核详细信息,实现最佳的动态电压和频率配置,提高了基于GPU动态电压和频率调节方案的效率和精度。

    一种通过动态和静态信息融合的GPU能源效率优化方法

    公开(公告)号:CN118113561A

    公开(公告)日:2024-05-31

    申请号:CN202410533884.0

    申请日:2024-04-30

    IPC分类号: G06F11/30 G06F11/34 G06N3/08

    摘要: 本发明公开了一种通过动态和静态信息融合的GPU能源效率优化方法,包括:基于GPU性能分析工具获取GPU运行的动态信息;根据内核的GPU汇编代码构建静态信息模型,并根据所述静态信息模型获取所述GPU运行的静态信息;通过GPU动态电压和频率调节模型对所述动态信息和所述静态信息进行分析,得到能源与性能优化参数,并根据所述能源与性能优化参数进行动态配置。本发明利用DCGM工具的硬件状态信息和PTX解析器的GPU内核详细信息,实现最佳的动态电压和频率配置,提高了基于GPU动态电压和频率调节方案的效率和精度。

    多任务因果学习的图像检测方法、装置、设备及介质

    公开(公告)号:CN116958748B

    公开(公告)日:2024-02-13

    申请号:CN202310947023.2

    申请日:2023-07-28

    摘要: 本发明涉及图像检测技术领域,公开了多任务因果学习的图像检测方法、装置、设备及介质,方法包括:根据多个样本特征对同一任务的重要性分数,从多个样本特征中筛选出干预特征;根据合并反事实特征,以及第二任务的反事实特征,确定第一任务对第二任务的因果亲和力;分别根据每个任务的反事实特征和样本特征的预测损失值生成第一正则约束项;根据第一任务的样本特征的预测损失值、第二任务的样本特征的预测损失值以及第一任务对第二任务的因果亲和力,生成第二正则约束项;根据判别损失函数、第一正则约束项和第二正则约束项,生成预测损失函数;根据预测损失函数对任务模型进行训练得到优化后的多任务模型。本发明能够提高图像检测的性能。