公开(公告)号：CN117331699A

公开(公告)日：2024-01-02

申请号：CN202311330737.5

申请日：2023-10-13

申请人： 武汉工程大学 ,  武汉大学

发明人： 栗娟 ,  和涛 ,  刘进 ,  刘玮 ,  危欢

IPC分类号： G06F9/50 ,  G06N5/043 ,  G06N3/0464 ,  G06F18/27

摘要： 本发明公开了一种基于能耗预测的边端协同AI模型推理方法，包括：将若干AI模型整合成AI统合模型；采集AI统合模型各类型层时延与能耗数据，形成时延与能耗数据集；构建AI统合模型各类型层时延与能耗预测模型；计算得到传输时延与能耗理论值；计算得到推理过程的总时延与总能耗；根据传输时延与能耗理论值、推理过程的总时延与总能耗，构建全局预测模型；根据全局预测模型预测全局时延与能耗；通过贪心算法找到最优分割点；执行推理，进行到最优分割点时，将推理数据和分割点索引传输给边缘服务器；边缘服务器继续推理，完成推理后将推理结果传输给终端，推理任务结束。本发明在保证时延的前提下将能耗作为优化目标，降低了应用AI模型所带来的能耗。