面向边缘云的DNN推断模型部署能耗优化方法和系统
摘要:
本发明公开了一种面向边缘云的DNN推断模型部署能耗优化方法和系统。所述方法在每个调度时隙内根据异构边缘节点的硬件属性配置并发DNN模型的推断组合,通过积累多个时隙不同DNN模型组合在异构边缘节点的执行时延的历史信息,利用基于上下文的组合多臂赌博机为当前时刻的DNN模型组合分发提供依据,从而不断调整当前时隙的DNN推断模型部署策略,降低异构节点的峰值负载时间,从而降低整体执行功率消耗。本发明能够在边缘云计算环境下优化系统能耗,提高能源利用率,且可以自适应地应对不同的工作负载,适用于各种边缘计算场景。
0/0