公开(公告)号：CN118228782A

公开(公告)日：2024-06-21

申请号：CN202410175179.8

申请日：2024-02-07

Applicant: 重庆大学

Inventor： 李秀华 ,  唐雅馨 ,  郝金隆 ,  程路熙 ,  蔡春茂 ,  李辉 ,  杨正益 ,  范琪琳 ,  文俊浩

IPC: G06N3/0495 ,  G06N3/092 ,  G06N5/04

Abstract: 一种边云协同下DNN推理加速方法，包括以下步骤：1)获取边缘设备的资源信息、云服务器的资源信息以及预训练的DNN模型信息；2)设定分区点，并基于所述分区点将预训练的DNN模型信息划分为两个部分，分别记为第一DNN子模型、第二DNN子模型；3)计算第一DNN子模型各层的压缩率，对第一DNN子模型进行压缩，得到第一DNN压缩模型；将第一DNN子模型、第二DNN子模型分别部署在边缘设备和云服务器上；4)执行DNN模型推理。本发明综合考虑了推理中模型的准确性和推理过程中的延迟来优化模型划分和压缩的策略，在保证模型准确率的同时减少推理延迟。本发明可以满足DNN模型不同的准确率需求，以最小化延迟。