Invention Publication
- Patent Title: 一种基于大语言模型的多任务处理方法及系统
-
Application No.: CN202411399969.0Application Date: 2024-10-09
-
Publication No.: CN119356813APublication Date: 2025-01-24
- Inventor: 朱溢铭 , 魏兴慎 , 刘苇 , 梅文明 , 杨维永 , 王勇 , 张浩天 , 刘寅 , 张伟昌 , 李科 , 孙强 , 田秋涵 , 曹永健 , 王云霄 , 周剑 , 郭楠楠 , 李慧水 , 曹永明 , 杨斌 , 刘剑 , 刘行 , 金倩倩
- Applicant: 南京南瑞信息通信科技有限公司 , 国网电力科学研究院有限公司 , 国网山东省电力公司 , 国网山东省电力公司电力科学研究院 , 国家电网有限公司
- Applicant Address: 江苏省南京市江宁区诚信大道19号; ; ; ;
- Assignee: 南京南瑞信息通信科技有限公司,国网电力科学研究院有限公司,国网山东省电力公司,国网山东省电力公司电力科学研究院,国家电网有限公司
- Current Assignee: 南京南瑞信息通信科技有限公司,国网电力科学研究院有限公司,国网山东省电力公司,国网山东省电力公司电力科学研究院,国家电网有限公司
- Current Assignee Address: 江苏省南京市江宁区诚信大道19号; ; ; ;
- Agency: 南京苏高专利商标事务所
- Agent 王苗
- Main IPC: G06F9/48
- IPC: G06F9/48 ; G06F18/241 ; G06F18/214

Abstract:
本发明公开了一种基于大语言模型的多任务处理方法及系统,构建大语言模型,大语言模型包括分类模块和生成模块,分类模块包括用于任务分类的分类线性层Classify_Head和基础模型,生成模块包括基础模型,采用不同权重矩阵的LoRA模块对基础模型中的线性层进行LoRA低秩方法微调;获取若干任务文本;通过分词器对任务文本进行转化,得到大语言模型的输入文本;将输入文本输入大语言模型,分类模块的线性层Classify_Head对输入文本进行任务分类,生成模块根据分类结果加载对应任务的LoRA模块对输入文本进行处理。进行用户问题分类和多任务并行查询,采用同一个基础模型进行微调,对应不同任务类型加载不同微调后的LoRA模块,能节省大量显存资源和时间资源。
Information query