一种基于云边协同推理的模型划分方法

    公开(公告)号:CN117135061A

    公开(公告)日:2023-11-28

    申请号:CN202210542659.4

    申请日:2022-05-18

    Abstract: 本发明涉及一种基于云边协同推理的模型划分方法,通过设置一个切分点将精简模型分为两部分,移动终端执行前一部分,将中间计算数据传输给边缘云端由边缘云端完成剩下的部分并返回最终结果。具体而言:根据不同压缩精简算法对原任务模型构建精简模型库。并完成在边缘云端和移动终端的双备份。任务来临时获取任务目标,任务目标包括:时延、准确度或模型质量;感知通信环境,可为其提供计算服务的边缘云端的算力及本地算力。遍历精简模型库中每一个精简模型参数:网络层数,每一层网络规模。根据公式定义预估精简模型的性能:精简模型的推理时延、精简模型的推理准确度和精简模型的划分质量;根据具体的任务目标选择合适的精简模型及划分层。

Patent Agency Ranking