- 专利标题: 一种基于通用大语言模型的行业知识大模型构建方法
-
申请号: CN202410130313.2申请日: 2024-01-31
-
公开(公告)号: CN117668258B公开(公告)日: 2024-05-28
- 发明人: 王珂琛 , 李照川 , 王冠军 , 公茂强 , 钟伟 , 常靓 , 郭凤
- 申请人: 浪潮软件科技有限公司
- 申请人地址: 山东省济南市高新区浪潮路1036号浪潮科技园
- 专利权人: 浪潮软件科技有限公司
- 当前专利权人: 浪潮软件科技有限公司
- 当前专利权人地址: 山东省济南市高新区浪潮路1036号浪潮科技园
- 代理机构: 济南信达专利事务所有限公司
- 代理商 阚恭勇
- 主分类号: G06F16/36
- IPC分类号: G06F16/36 ; G06F16/33 ; G06F16/332 ; G06N5/022
摘要:
本发明提供一种基于通用大语言模型的行业知识大模型构建方法,属于人工智能领域,本发明利用计算机视觉模型、光学字符识别模型从行业手册、决策文书、新闻、论坛等途径提取无监督行业知识语料,构建预训练行业知识语料库,并且使用行业业务流程数据以“指令‑输入‑输出”的格式构建微调行业知识语料库。首先使用预训练行业知识语料库对通用大语言模型进行在本行业领域的增量化预训练,构建形成增量化预训练大模型,然后利用微调行业知识语料库对增量化预训练大模型进行微调训练,构建形成行业知识大模型,行业知识大模型能够更有效地按照行业业务流程提供相关行业知识服务。
公开/授权文献
- CN117668258A 一种基于通用大语言模型的行业知识大模型构建方法 公开/授权日:2024-03-08