- 专利标题: 面向边缘云的DNN推断模型部署能耗优化方法和系统
-
申请号: CN202310335972.5申请日: 2023-03-31
-
公开(公告)号: CN116048820B公开(公告)日: 2023-06-06
- 发明人: 牧军 , 王继业 , 宋文 , 杨华飞 , 俞俊 , 杨文清 , 丰佳 , 张伟 , 毛林晖 , 吴禹 , 孙赫声 , 钱柱中
- 申请人: 南京大学 , 国电南瑞科技股份有限公司
- 申请人地址: 江苏省南京市鼓楼区汉口路22号;
- 专利权人: 南京大学,国电南瑞科技股份有限公司
- 当前专利权人: 南京大学,国电南瑞科技股份有限公司
- 当前专利权人地址: 江苏省南京市鼓楼区汉口路22号;
- 代理机构: 南京泉为知识产权代理事务所
- 代理商 许丹丹
- 主分类号: G06F9/50
- IPC分类号: G06F9/50 ; G06N3/063 ; G06N5/04 ; G06N3/045
摘要:
本发明公开了一种面向边缘云的DNN推断模型部署能耗优化方法和系统。所述方法在每个调度时隙内根据异构边缘节点的硬件属性配置并发DNN模型的推断组合,通过积累多个时隙不同DNN模型组合在异构边缘节点的执行时延的历史信息,利用基于上下文的组合多臂赌博机为当前时刻的DNN模型组合分发提供依据,从而不断调整当前时隙的DNN推断模型部署策略,降低异构节点的峰值负载时间,从而降低整体执行功率消耗。本发明能够在边缘云计算环境下优化系统能耗,提高能源利用率,且可以自适应地应对不同的工作负载,适用于各种边缘计算场景。
公开/授权文献
- CN116048820A 面向边缘云的DNN推断模型部署能耗优化方法和系统 公开/授权日:2023-05-02