发明公开
- 专利标题: 一种计算机视觉深度学习模型的优化部署方法与装置
-
申请号: CN202310098795.3申请日: 2023-02-11
-
公开(公告)号: CN116048542A公开(公告)日: 2023-05-02
- 发明人: 王瑾 , 莫瞰涯 , 叶玥 , 程乐超
- 申请人: 之江实验室
- 申请人地址: 浙江省杭州市余杭区之江实验室南湖总部
- 专利权人: 之江实验室
- 当前专利权人: 之江实验室
- 当前专利权人地址: 浙江省杭州市余杭区之江实验室南湖总部
- 代理机构: 北京志霖恒远知识产权代理有限公司
- 代理商 戴莉
- 主分类号: G06F8/60
- IPC分类号: G06F8/60 ; G06F9/50 ; G06N3/04 ; G06N3/08
摘要:
本发明公开了一种计算机视觉深度学习模型的优化部署方法与装置,所述方法和装置核心为模型优化服务和模型部署服务两个模块。模型优化服务模块可将训练好的模型通过IR中间表示)转换为适配目标推理引擎及硬件设备的框架格式,提升推理性能。模型部署服务模块支持本地部署和在线部署两种方式,其中本地部署是指将待部署模型文件封装为SDK,下载至本地设备进行端侧推理;在线部署是指将待部署模型文件在云端服务器部署,开放接口供用户调用推理服务,本发明通过构建完整的模型优化和部署服务流程与装置,降低深度学习模型部署的复杂度,对多种模型网络架构、推理引擎的扩充兼容,使本公开实施例更具灵活性和可拓展性。
公开/授权文献
- CN116048542B 一种计算机视觉深度学习模型的优化部署方法与装置 公开/授权日:2023-10-31