-
公开(公告)号:CN118626627B
公开(公告)日:2024-11-05
申请号:CN202411102673.8
申请日:2024-08-13
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06N5/022 , G06N3/0455 , G06N3/08
-
公开(公告)号:CN118861988A
公开(公告)日:2024-10-29
申请号:CN202411065437.3
申请日:2024-08-05
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F18/25 , G06F18/213 , G06N3/0455 , G06N3/082
摘要: 本发明提出一种基于多模态信息融合的视频检索方法及系统,属于人工智能设备技术领域,包括:视频帧抽取与编码模块用于获取视频,对视频进行视频帧抽取获得图形序列,对图形序列进行特征编码;音频分离与编码模块用于提取视频的音频部分;文本编码模块用于对视频的描述文件进行编码;对齐模块用于对音频,图像和文字及进行对齐,多模态融合与理解模块用于实现不同模态间的深度交互和信息融合;文字生成模块基于多模态特征进行文字信息的生成,不仅能够高效地融合和处理文字、图像、音频等多元信息,还包含了先进的量化技术以降低模型体积、减少计算资源消耗,同时确保模型性能。
-
公开(公告)号:CN118673969B
公开(公告)日:2024-10-29
申请号:CN202411146611.7
申请日:2024-08-21
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06N3/0499 , G06N3/082
摘要: 本发明提出一种基于KAN网络的大模型压缩方法及系统,属于人工智能技术领域,将语言模型中的多层感知机结构替换为三层的KAN网络,其中第一层由输入到隐藏单元的边组成,第二层由隐藏单元之间的边组成,第三层由隐藏单元到输出的边组成,每条边都与一个可学习的一元函数相关联,这些函数使用B样条参数化,在模型训练时,通过在损失函数中引入L1正则化项来诱导KAN网络的稀疏性,使得许多边的权重趋于零,训练后,去除权重小于阈值的边,并将B样条激活函数近似为分段函数,得到一个紧凑、高效的压缩模型,能在保持模型性能的同时,显著减少参数量和推理计算量,可广泛应用于各类大型语言模型的压缩。
-
公开(公告)号:CN118796880A
公开(公告)日:2024-10-18
申请号:CN202411288305.7
申请日:2024-09-14
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/2453 , G06F16/242 , G06F16/22
摘要: 本发明公开了基于大模型实现复杂问题转换为SQL语句的方法及系统,属于数据库技术领域,要解决的技术问题为如何实现复杂问题转换为SQL语句。包括如下步骤:将问题和问题陈述输入大模型,通过大模型进行SQL生成意图判断;如果问题与数据库表无关,通过大模型对问题进行用户意图分析并给出答案;如果问题与数据库表有关、且能够直接生成SQL查询语句,通过大模型生成SQL查询语句;如果问题与数据库表有关、但无法直接生成SQL查询语句,基于few‑shot学习技术、通过大模型生成包含新语法部分的SQL查询语句,通过大模型执行语法部分进行查询,将新列合并到当前数据库表,执行包含新语法部分的SQL查询语句。
-
公开(公告)号:CN118735732A
公开(公告)日:2024-10-01
申请号:CN202410926685.6
申请日:2024-07-11
申请人: 山东浪潮浩岳建筑科技有限公司 , 山东浪潮科学研究院有限公司
IPC分类号: G06Q50/08 , G06Q10/063 , G06F3/01 , G06V20/17 , G06N20/00
摘要: 本发明提出基于大型多模态语言模型的智能施工安全管理系统及方法,属于建筑工程安全管理技术领域,包括数据采集模块、场景识别模块、安全行为分析模块、预警播报模块和人机交互模块;通过数据采集模块的移动巡检装置和固定监控装置实时采集施工现场的影像数据,并将数据上传至边缘计算节点或云端服务器;通过场景识别模块引入预训练的大型多模态语言模型,对采集到的影像数据进行语义理解和场景分类,并结合场景信息库实现精准识别;同时引入主动学习机制,持续优化模型性能;引入大型多模态语言模型,显著提升复杂施工场景的理解和分析能力,实现安全隐患的智能识别和预警;有效降低使用门槛,提升管理效率。
-
公开(公告)号:CN118503394B
公开(公告)日:2024-10-01
申请号:CN202410953959.0
申请日:2024-07-17
申请人: 山东浪潮科学研究院有限公司
摘要: 本发明涉及自然语言处理技术,特别是涉及一种基于大语言模型的自适应决策方法、系统及存储介质,本发明通过对输入问题的复杂性进行分析和评估,组建不同领域的专家模型团队,使得能够灵活调用和组合各领域的深入知识,弥补了单一模型的知识局限性,达到优化决策效率和准确性的目的,通过讨论机制和策略集成来优化决策制定,提升专家模型在处理复杂任务时的整体性能,从而大大提升了处理复杂问题时的推理能力。
-
公开(公告)号:CN118673990A
公开(公告)日:2024-09-20
申请号:CN202411162563.0
申请日:2024-08-23
申请人: 山东浪潮科学研究院有限公司
摘要: 本发明涉及人工智能技术领域,提供一种大模型优化方法、装置、电子设备及存储介质,方法包括:获取多种不同反馈类型的用户反馈信息集;对每种用户反馈信息集中多个用户反馈信息分别进行质量评估,得到每种用户反馈信息集中每个用户反馈信息的质量分数;基于每种用户反馈信息集中每个用户反馈信息的质量分数,确定每种用户反馈信息集中的目标用户反馈信息;基于每种用户反馈信息集中的目标用户反馈信息,构建DPO数据集;基于DPO数据集对大模型进行更新训练。本发明提供的大模型优化方法,基于全面且可靠的目标用户反馈信息,构建DPO数据集,针对性地调整模型训练数据,以此来优化大模型性能,从而显著提高大模型的回答质量和用户满意度。
-
公开(公告)号:CN118627610A
公开(公告)日:2024-09-10
申请号:CN202411116647.0
申请日:2024-08-15
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06N5/022 , G06N20/00 , G06F16/901 , G06F16/903 , G06N3/044 , G06N3/0455 , G06N3/08
摘要: 本发明涉及深度学习以及自然语言理解领域,特别是涉及一种基于知识表示和动态提示的多模态模型知识更新方法,本发明公开了通过从预先构建的知识库中选择知识数据作为保留知识数据样本,并基于已标注的新增知识数据与知识数据样本,构建更新数据集,对训练集中的知识数据进行向量化处理,以生成统一维度的训练知识数据向量,基于生成统一维度的训练知识数据向量,对已经对优化器进行初始化的多模态模型进行多轮训练,以更新多模态模型和知识库,实现新旧知识数据的整合,有助于保持模型的持续学习能力。
-
公开(公告)号:CN118626662A
公开(公告)日:2024-09-10
申请号:CN202411080245.X
申请日:2024-08-08
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/383 , G06F18/25 , G06F16/338 , G06F16/332
摘要: 本发明涉及人工智能技术领域,特别是涉及一种多模态元数据检索增强生成方法及系统,本发明通过确定查询内容的数据模态,基于确定的数据模态对各模态的数据进行特征提取,并将提取的特征转换为特征向量,各模态的特征向量进行融合,生成多模态特征向量,并从查询内容的各模态数据中提取各模态数据的关键元数据,将关键元数据转换为关键元数据向量与多模态特征向量相连接,构建增强向量,通过增强向量进行检索,有助于提升知识覆盖范围和信息利用效率,提高生成内容的准确性、相关性和可信度。
-
公开(公告)号:CN118626627A
公开(公告)日:2024-09-10
申请号:CN202411102673.8
申请日:2024-08-13
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/332 , G06F16/33 , G06N5/022 , G06N3/0455 , G06N3/08
摘要: 本发明涉及人工智能技术领域,特别是涉及一种基于大模型的智能问答方法、系统及存储介质,本发明通过使用复杂度评估函数对用户问题进行复杂度评估,并根据复杂度评估结果,通过动态规划和外部工具的调用来采用不同的处理策略对用户问题进行处理,从而有助于避免简单问题处理过度复杂,而复杂问题处理不够充分的现象,通过对最终回答的质量进行评估和迭代优化的机制,有助于避免输出的最终回答不稳定或质量不佳的现象,并且在知识提取过程中,充分考虑用户的实际满意度,有助于能提升用户体验。
-
-
-
-
-
-
-
-
-