Invention Grant
- Patent Title: 面向边缘云的DNN推断模型部署能耗优化方法和系统
-
Application No.: CN202310335972.5Application Date: 2023-03-31
-
Publication No.: CN116048820BPublication Date: 2023-06-06
- Inventor: 牧军 , 王继业 , 宋文 , 杨华飞 , 俞俊 , 杨文清 , 丰佳 , 张伟 , 毛林晖 , 吴禹 , 孙赫声 , 钱柱中
- Applicant: 南京大学 , 国电南瑞科技股份有限公司
- Applicant Address: 江苏省南京市鼓楼区汉口路22号;
- Assignee: 南京大学,国电南瑞科技股份有限公司
- Current Assignee: 南京大学,国电南瑞科技股份有限公司
- Current Assignee Address: 江苏省南京市鼓楼区汉口路22号;
- Agency: 南京泉为知识产权代理事务所
- Agent 许丹丹
- Main IPC: G06F9/50
- IPC: G06F9/50 ; G06N3/063 ; G06N5/04 ; G06N3/045

Abstract:
本发明公开了一种面向边缘云的DNN推断模型部署能耗优化方法和系统。所述方法在每个调度时隙内根据异构边缘节点的硬件属性配置并发DNN模型的推断组合,通过积累多个时隙不同DNN模型组合在异构边缘节点的执行时延的历史信息,利用基于上下文的组合多臂赌博机为当前时刻的DNN模型组合分发提供依据,从而不断调整当前时隙的DNN推断模型部署策略,降低异构节点的峰值负载时间,从而降低整体执行功率消耗。本发明能够在边缘云计算环境下优化系统能耗,提高能源利用率,且可以自适应地应对不同的工作负载,适用于各种边缘计算场景。
Public/Granted literature
- CN116048820A 面向边缘云的DNN推断模型部署能耗优化方法和系统 Public/Granted day:2023-05-02
Information query