一种基于大语言模型的政府信息咨询系统

    公开(公告)号:CN117932025A

    公开(公告)日:2024-04-26

    申请号:CN202410033381.7

    申请日:2024-01-08

    摘要: 本发明公开一种基于大语言模型的政府信息咨询系统,涉及人工智能技术领域,包括模型定制化训练模块和在线咨询服务模块;模型定制化训练模块首先利用数据多维提取工具提取政府信息数据,构建政府信息语料库,然后使用政府信息语料库对通用大语言模型进行定制化预训练,构建政府信息咨询服务模型;在线咨询服务模块加载政府信息咨询服务模型,以根据使用需求提供智能问答、智能分析、数据更新的服务。本发明可以降低人工服务工作量,保证服务质量稳定高效。

    一种大语言模型加速方法及装置
    3.
    发明公开

    公开(公告)号:CN118569324A

    公开(公告)日:2024-08-30

    申请号:CN202411045654.6

    申请日:2024-08-01

    摘要: 本发明涉及人工智能领域,本发明要解决的技术问题为如何简化存储资源和计算资源,进行大语言模型的推广。采用的技术方案为一种大语言模型加速方法及装置,具有如下步骤:S1、将大语言模型的预训练权重矩阵W进行压缩分解;S2、分别对U和VT矩阵进行QR分解,得到QU、RU、QV、RV;S3、使用奇异值分解算法对矩阵乘积进行压缩分解;S4、将矩阵分别合并;S5、将得到的矩阵替换权重矩阵W进行存储;S6、使用存储的矩阵进行推理加速;S7、将得到的秩r设置成为对应权重矩阵W的低秩参数化更新矩阵ΔW的秩;S8、使用存储的矩阵进行微调后大语言模型的推理加速。

    一种基于低秩压缩的大语言模型加速方法及实现装置

    公开(公告)号:CN118396068B

    公开(公告)日:2024-10-08

    申请号:CN202410865324.5

    申请日:2024-07-01

    IPC分类号: G06F17/16 G06N3/08 G06N5/04

    摘要: 本发明涉及大语言模型技术领域,特别涉及一种基于低秩压缩的大语言模型加速方法及实现装置。该基于低秩压缩的大语言模型加速方法,使用自适应交叉近似算法对大语言模型的权重矩阵进行矩阵压缩分解,并得到权重矩阵的秩;然后再将权重矩阵的秩应用到基于LoRA微调过程中的低秩参数化更新矩阵上,作为其设定的秩进行微调训练,实现更新矩阵秩的自适应设置。该基于低秩压缩的大语言模型加速方法及实现装置,不仅降低了大语言模型在部署过程中的存储资源需求,还实现了微调过程中低秩参数化更新矩阵秩取值的自适应匹配,提高了应用的普适性,降低了大语言模型的使用算力门槛,加速了大语言模型的落地应用。

    一种知识图谱赋能大模型知识库的方法及装置

    公开(公告)号:CN118733790A

    公开(公告)日:2024-10-01

    申请号:CN202411215565.1

    申请日:2024-09-02

    摘要: 本发明涉及知识库领域,具体提供了一种知识图谱赋能大模型知识库的方法及装置,S1、将文件导入知识存储模块,加载文档中文本信息,设置相似度阈值threshold,完成文档切片;S2、加载Embedding模型;S3、加载Extractor模型;S4、输入问题,完成query预处理;S5、设定Top‑K的数值,召回相似度最高的Top‑K个文本切片待用;S6、设定Top‑N的数值,提取三元组信息待用;S7、将召回的文本切片和三元组信息融合形成提示词Prompt,输入给大模型进行推理;S8、大模型经过推理后,生成回复。本发明能够增强知识库输出内容的稳定性和准确性,并提高知识的可解释性和可溯源性。

    一种基于低秩压缩的大语言模型加速方法及实现装置

    公开(公告)号:CN118396068A

    公开(公告)日:2024-07-26

    申请号:CN202410865324.5

    申请日:2024-07-01

    IPC分类号: G06N3/08 G06N5/04 G06F17/16

    摘要: 本发明涉及大语言模型技术领域,特别涉及一种基于低秩压缩的大语言模型加速方法及实现装置。该基于低秩压缩的大语言模型加速方法,使用自适应交叉近似算法对大语言模型的权重矩阵进行矩阵压缩分解,并得到权重矩阵的秩;然后再将权重矩阵的秩应用到基于LoRA微调过程中的低秩参数化更新矩阵上,作为其设定的秩进行微调训练,实现更新矩阵秩的自适应设置。该基于低秩压缩的大语言模型加速方法及实现装置,不仅降低了大语言模型在部署过程中的存储资源需求,还实现了微调过程中低秩参数化更新矩阵秩取值的自适应匹配,提高了应用的普适性,降低了大语言模型的使用算力门槛,加速了大语言模型的落地应用。

    基于深度学习与智能优化算法的流量告警方法、系统、设备及介质

    公开(公告)号:CN118264442A

    公开(公告)日:2024-06-28

    申请号:CN202410303035.6

    申请日:2024-03-18

    摘要: 本发明公开了基于深度学习与智能优化算法的流量告警方法、系统、设备及介质,属于运维运营技术领域,本发明要解决的技术问题为如何利用深度学习技术实现流量的高精度检测,减少误报和漏包以及在实时环境下快读有效地处理大量数据,提升数据处理效率,采用的技术方案为:数据收集及预处理:收集和预处理请求到服务器上的访问数据,通过定时更新的方式将访问数据作为训练集;数据分析:针对历史访问数据通过时间序列数据预测模型进行分析,将分析结果通过智能优化算法模型进行迭代优化;报警判定:根据分析结果和预设阈值判断当前是否存在异常访问行为,并生成报警行为;报警行为信息通知:将报警行为信息以告警信息的形式通知给相关人员。

    一种基于通用大语言模型的行业知识大模型构建方法

    公开(公告)号:CN117668258B

    公开(公告)日:2024-05-28

    申请号:CN202410130313.2

    申请日:2024-01-31

    摘要: 本发明提供一种基于通用大语言模型的行业知识大模型构建方法,属于人工智能领域,本发明利用计算机视觉模型、光学字符识别模型从行业手册、决策文书、新闻、论坛等途径提取无监督行业知识语料,构建预训练行业知识语料库,并且使用行业业务流程数据以“指令‑输入‑输出”的格式构建微调行业知识语料库。首先使用预训练行业知识语料库对通用大语言模型进行在本行业领域的增量化预训练,构建形成增量化预训练大模型,然后利用微调行业知识语料库对增量化预训练大模型进行微调训练,构建形成行业知识大模型,行业知识大模型能够更有效地按照行业业务流程提供相关行业知识服务。

    一种基于通用大语言模型的行业知识大模型构建方法

    公开(公告)号:CN117668258A

    公开(公告)日:2024-03-08

    申请号:CN202410130313.2

    申请日:2024-01-31

    摘要: 本发明提供一种基于通用大语言模型的行业知识大模型构建方法,属于人工智能领域,本发明利用计算机视觉模型、光学字符识别模型从行业手册、决策文书、新闻、论坛等途径提取无监督行业知识语料,构建预训练行业知识语料库,并且使用行业业务流程数据以“指令‑输入‑输出”的格式构建微调行业知识语料库。首先使用预训练行业知识语料库对通用大语言模型进行在本行业领域的增量化预训练,构建形成增量化预训练大模型,然后利用微调行业知识语料库对增量化预训练大模型进行微调训练,构建形成行业知识大模型,行业知识大模型能够更有效地按照行业业务流程提供相关行业知识服务。