发明公开
- 专利标题: 大模型智能算力需求测算方法、装置、设备、介质及产品
-
申请号: CN202411029930.X申请日: 2024-07-30
-
公开(公告)号: CN118863060A公开(公告)日: 2024-10-29
- 发明人: 李双杰 , 张馨予 , 牛芳玲 , 李晓飞 , 蒋群 , 王慧娟
- 申请人: 中国移动通信集团设计院有限公司 , 中国移动通信集团有限公司
- 申请人地址: 北京市海淀区丹棱街甲16号;
- 专利权人: 中国移动通信集团设计院有限公司,中国移动通信集团有限公司
- 当前专利权人: 中国移动通信集团设计院有限公司,中国移动通信集团有限公司
- 当前专利权人地址: 北京市海淀区丹棱街甲16号;
- 代理机构: 北京路浩知识产权代理有限公司
- 代理商 聂俊伟
- 主分类号: G06N5/04
- IPC分类号: G06N5/04 ; G06F9/50
摘要:
本发明提供一种大模型智能算力需求测算方法、装置、设备、介质及产品,包括:获取多个大模型的模型信息;根据模型信息,测算各个大模型的训练阶段智能算力需求和推理阶段智能算力需求;根据各个大模型所属行业场景的本地化需求比例、各个大模型的训练阶段智能算力需求和推理阶段智能算力需求,测算大模型本地化智能算力总需求。本发明通过测算训练和推理阶段智能算力需求,考虑了大模型不同阶段的特征差异;通过根据大模型所属行业场景的本地化比例、训练和推理阶段智能算力需求,对大模型本地化智能算力总需求进行测算,考虑了不同场景下大模型对智能算力时延及智算中心位置的需求,从而提高测算结果准确性,避免大模型智能算力资源不足的问题。