一种AI模型计算核调度方法、装置、设备及存储介质
摘要:
本发明公开了一种AI模型计算核调度方法、装置、设备及存储介质,包括:获取AI模型对应的计算图,利用预先训练好的算子选择模型,确定计算图中每个算子对应的备选实现方式;根据每个算子对应的备选实现方式生成多个计算核拓扑图;依次获取一个计算核拓扑图作为当前拓扑图,采用递归检索算法依据当前拓扑图在不同核任务调度策略下所需执行时间,确定与当前拓扑图匹配的备选调度策略;对全部的计算核拓扑图进行处理后,对比各计算核拓扑图匹配的备选调度策略,确定与AI模型匹配的目标调度策略。本发明实施例的技术方案可以生成kernel级全局视角的调度策略,提高硬件加速卡资源的利用率以及AI模型的执行效率。
0/0