发明公开
- 专利标题: 基于大模型技术的模型服务提供方法、平台及电子设备
-
申请号: CN202410324021.2申请日: 2024-03-20
-
公开(公告)号: CN118228827A公开(公告)日: 2024-06-21
- 发明人: 褚振方 , 钱正宇 , 施恩 , 胡鸣人 , 袁正雄 , 李金麒 , 黄悦 , 罗阳 , 王国彬 , 钱洋 , 王宽
- 申请人: 北京百度网讯科技有限公司
- 申请人地址: 北京市海淀区上地十街10号百度大厦2层
- 专利权人: 北京百度网讯科技有限公司
- 当前专利权人: 北京百度网讯科技有限公司
- 当前专利权人地址: 北京市海淀区上地十街10号百度大厦2层
- 代理机构: 北京柏杉松知识产权代理事务所
- 代理商 孟维娜; 马敬
- 主分类号: G06N5/04
- IPC分类号: G06N5/04
摘要:
本公开提供了一种基于大模型技术的模型服务提供方法、平台及电子设备,涉及计算机技术领域,尤其涉及大模型技术领域。具体实现方案为:创建待部署的第一服务模型的第一模型实例;为第一模型实例分配推理服务;调用第一模型实例所分配的推理服务的加载接口,为所分配推理服务中封装的基座模型挂载第一服务模型的权重文件;响应于针对目标服务模型的用户请求,从目标服务模型的模型实例中,确定用于响应用户请求的目标模型实例;调用目标模型实例被分配的目标推理服务,以使用所配置计算资源,在目标模型实例中运行挂载目标权重文件后的基座模型,获得用户请求的请求结果。应用本公开实施例提供的模型服务提供方案能够有效利用计算资源。