基于大模型技术的模型服务提供方法、平台及电子设备
摘要:
本公开提供了一种基于大模型技术的模型服务提供方法、平台及电子设备,涉及计算机技术领域,尤其涉及大模型技术领域。具体实现方案为:创建待部署的第一服务模型的第一模型实例;为第一模型实例分配推理服务;调用第一模型实例所分配的推理服务的加载接口,为所分配推理服务中封装的基座模型挂载第一服务模型的权重文件;响应于针对目标服务模型的用户请求,从目标服务模型的模型实例中,确定用于响应用户请求的目标模型实例;调用目标模型实例被分配的目标推理服务,以使用所配置计算资源,在目标模型实例中运行挂载目标权重文件后的基座模型,获得用户请求的请求结果。应用本公开实施例提供的模型服务提供方案能够有效利用计算资源。
0/0