一种基于通用大语言模型的行业知识大模型构建方法
摘要:
本发明提供一种基于通用大语言模型的行业知识大模型构建方法,属于人工智能领域,本发明利用计算机视觉模型、光学字符识别模型从行业手册、决策文书、新闻、论坛等途径提取无监督行业知识语料,构建预训练行业知识语料库,并且使用行业业务流程数据以“指令‑输入‑输出”的格式构建微调行业知识语料库。首先使用预训练行业知识语料库对通用大语言模型进行在本行业领域的增量化预训练,构建形成增量化预训练大模型,然后利用微调行业知识语料库对增量化预训练大模型进行微调训练,构建形成行业知识大模型,行业知识大模型能够更有效地按照行业业务流程提供相关行业知识服务。
0/0