专利检索 ap:("昆仑芯(北京)科技有限公司") AND inv:"索鹏" 第 1 页

1.

发明公开
大模型服务的部署方法、装置、介质及设备

公开(公告)号：CN118963776A

公开(公告)日：2024-11-15

申请号：CN202411037896.0

申请日：2024-07-30

申请人： 昆仑芯(北京)科技有限公司

发明人： 赵历 , 杨文涛 , 施星靓 , 罗航 , 李阳 , 索鹏

IPC分类号： G06F8/60 , G06F9/445

摘要： 本公开提供了一种大模型服务的部署方法、装置、介质及设备，涉及人工智能技术领域，尤其涉及服务部署、深度学习、自然语言处理技术领域。实现方案为：响应于待配置的多个服务器中的第一服务器接收到来自客户端的配置请求，基于配置请求中有关第一服务器的配置信息，在第一服务器部署剧本编排模块；由剧本编排模块，根据预设的剧本文件以及配置请求中的配置描述，生成针对多个服务器的配置计划；以及向多个服务器中的各个服务器按照配置计划依次分发对应的配置任务，使各个服务器逐步完成相应的环境配置和软件安装，以基于配置完成的多个服务器构建能够提供大模型服务的集群。