一种计算机视觉深度学习模型的优化部署方法与装置
摘要:
本发明公开了一种计算机视觉深度学习模型的优化部署方法与装置,所述方法和装置核心为模型优化服务和模型部署服务两个模块。模型优化服务模块可将训练好的模型通过IR中间表示)转换为适配目标推理引擎及硬件设备的框架格式,提升推理性能。模型部署服务模块支持本地部署和在线部署两种方式,其中本地部署是指将待部署模型文件封装为SDK,下载至本地设备进行端侧推理;在线部署是指将待部署模型文件在云端服务器部署,开放接口供用户调用推理服务,本发明通过构建完整的模型优化和部署服务流程与装置,降低深度学习模型部署的复杂度,对多种模型网络架构、推理引擎的扩充兼容,使本公开实施例更具灵活性和可拓展性。
0/0