发明公开
- 专利标题: 一种AI模型计算核调度方法、装置、设备及存储介质
-
申请号: CN202311550267.3申请日: 2023-11-21
-
公开(公告)号: CN117271098A公开(公告)日: 2023-12-22
- 发明人: 韩杨杨 , 王凤明 , 李翔 , 张亚林 , 朱蒋俊 , 张驭洲
- 申请人: 北京燧原智能科技有限公司
- 申请人地址: 北京市海淀区知春路23号14层1401、1403、1405、1407室
- 专利权人: 北京燧原智能科技有限公司
- 当前专利权人: 北京燧原智能科技有限公司
- 当前专利权人地址: 北京市海淀区知春路23号14层1401、1403、1405、1407室
- 代理机构: 北京品源专利代理有限公司
- 代理商 侯军洋
- 主分类号: G06F9/48
- IPC分类号: G06F9/48 ; G06N20/00 ; G06F9/50
摘要:
本发明公开了一种AI模型计算核调度方法、装置、设备及存储介质,包括:获取AI模型对应的计算图,利用预先训练好的算子选择模型,确定计算图中每个算子对应的备选实现方式;根据每个算子对应的备选实现方式生成多个计算核拓扑图;依次获取一个计算核拓扑图作为当前拓扑图,采用递归检索算法依据当前拓扑图在不同核任务调度策略下所需执行时间,确定与当前拓扑图匹配的备选调度策略;对全部的计算核拓扑图进行处理后,对比各计算核拓扑图匹配的备选调度策略,确定与AI模型匹配的目标调度策略。本发明实施例的技术方案可以生成kernel级全局视角的调度策略,提高硬件加速卡资源的利用率以及AI模型的执行效率。
公开/授权文献
- CN117271098B 一种AI模型计算核调度方法、装置、设备及存储介质 公开/授权日:2024-02-13