本发明公开了一种基于云边端协同的深度学习模型推理加速方法，具体涉及一种深度学习模型分层卸载方法。该方法通过对整个深度学习模型推理过程中的计算时延、数据传输时延、数据传播时延和模型分层卸载策略生成时延进行理论建模，并以计算任务响应时延最小为优化目标，决定最优深度学习模型的分层卸载策略。相较于以物理端为主导和以云计算中心为主导的深度学习模型执行框架，本方法通过将边缘计算范式和云计算结合起来，并将深度学习模型分层卸载至不同的边缘计算节点，在满足计算精度的前提下，实现计算任务响应时延最小化。