公开(公告)号：CN118550456A

公开(公告)日：2024-08-27

申请号：CN202410349822.4

申请日：2024-03-26

申请人： 山东能源集团有限公司 ,  云鼎科技股份有限公司

发明人： 李伟 ,  肖耀猛 ,  刘晓军 ,  范作鹏 ,  曹怀轩 ,  戴长官 ,  纪永虎 ,  于永学 ,  孟令声 ,  杜晓斌 ,  白玉 ,  李树仁 ,  刘春光 ,  于世麟 ,  孙延池 ,  孙诗野

IPC分类号： G06F3/06 ,  G06F9/50 ,  G06F18/214 ,  G06N3/0895

摘要： 一种大模型预训练的存储管理方法，所述存储管理方法包括以下步骤：录入模型目标样本，以获取海量的全域数据；将录入的模型数据进行分块存储；引入CPU‑GPU数据移动开销，以细粒度的方式布局运算符，使内存密集型运算符不在首选设备上；管理异构存储空间中的功能模块；能够使预训练的大模型从海量数据中自动发现隐藏的模式和规律，提升了学习能力和操作性能，能够支持更大的模型规模和更高的计算效率。