一种融合文字、图像与音频的多模态模型及方法

    公开(公告)号:CN118861988A

    公开(公告)日:2024-10-29

    申请号:CN202411065437.3

    申请日:2024-08-05

    摘要: 本发明提出一种基于多模态信息融合的视频检索方法及系统,属于人工智能设备技术领域,包括:视频帧抽取与编码模块用于获取视频,对视频进行视频帧抽取获得图形序列,对图形序列进行特征编码;音频分离与编码模块用于提取视频的音频部分;文本编码模块用于对视频的描述文件进行编码;对齐模块用于对音频,图像和文字及进行对齐,多模态融合与理解模块用于实现不同模态间的深度交互和信息融合;文字生成模块基于多模态特征进行文字信息的生成,不仅能够高效地融合和处理文字、图像、音频等多元信息,还包含了先进的量化技术以降低模型体积、减少计算资源消耗,同时确保模型性能。

    一种基于KAN网络的大模型压缩方法及系统

    公开(公告)号:CN118673969B

    公开(公告)日:2024-10-29

    申请号:CN202411146611.7

    申请日:2024-08-21

    IPC分类号: G06N3/0499 G06N3/082

    摘要: 本发明提出一种基于KAN网络的大模型压缩方法及系统,属于人工智能技术领域,将语言模型中的多层感知机结构替换为三层的KAN网络,其中第一层由输入到隐藏单元的边组成,第二层由隐藏单元之间的边组成,第三层由隐藏单元到输出的边组成,每条边都与一个可学习的一元函数相关联,这些函数使用B样条参数化,在模型训练时,通过在损失函数中引入L1正则化项来诱导KAN网络的稀疏性,使得许多边的权重趋于零,训练后,去除权重小于阈值的边,并将B样条激活函数近似为分段函数,得到一个紧凑、高效的压缩模型,能在保持模型性能的同时,显著减少参数量和推理计算量,可广泛应用于各类大型语言模型的压缩。

    基于大模型实现复杂问题转换为SQL语句的方法及系统

    公开(公告)号:CN118796880A

    公开(公告)日:2024-10-18

    申请号:CN202411288305.7

    申请日:2024-09-14

    摘要: 本发明公开了基于大模型实现复杂问题转换为SQL语句的方法及系统,属于数据库技术领域,要解决的技术问题为如何实现复杂问题转换为SQL语句。包括如下步骤:将问题和问题陈述输入大模型,通过大模型进行SQL生成意图判断;如果问题与数据库表无关,通过大模型对问题进行用户意图分析并给出答案;如果问题与数据库表有关、且能够直接生成SQL查询语句,通过大模型生成SQL查询语句;如果问题与数据库表有关、但无法直接生成SQL查询语句,基于few‑shot学习技术、通过大模型生成包含新语法部分的SQL查询语句,通过大模型执行语法部分进行查询,将新列合并到当前数据库表,执行包含新语法部分的SQL查询语句。

    大模型优化方法、装置、电子设备及存储介质

    公开(公告)号:CN118673990A

    公开(公告)日:2024-09-20

    申请号:CN202411162563.0

    申请日:2024-08-23

    IPC分类号: G06N3/08 G06N3/045

    摘要: 本发明涉及人工智能技术领域,提供一种大模型优化方法、装置、电子设备及存储介质,方法包括:获取多种不同反馈类型的用户反馈信息集;对每种用户反馈信息集中多个用户反馈信息分别进行质量评估,得到每种用户反馈信息集中每个用户反馈信息的质量分数;基于每种用户反馈信息集中每个用户反馈信息的质量分数,确定每种用户反馈信息集中的目标用户反馈信息;基于每种用户反馈信息集中的目标用户反馈信息,构建DPO数据集;基于DPO数据集对大模型进行更新训练。本发明提供的大模型优化方法,基于全面且可靠的目标用户反馈信息,构建DPO数据集,针对性地调整模型训练数据,以此来优化大模型性能,从而显著提高大模型的回答质量和用户满意度。

    一种多模态元数据检索增强生成方法及系统

    公开(公告)号:CN118626662A

    公开(公告)日:2024-09-10

    申请号:CN202411080245.X

    申请日:2024-08-08

    摘要: 本发明涉及人工智能技术领域,特别是涉及一种多模态元数据检索增强生成方法及系统,本发明通过确定查询内容的数据模态,基于确定的数据模态对各模态的数据进行特征提取,并将提取的特征转换为特征向量,各模态的特征向量进行融合,生成多模态特征向量,并从查询内容的各模态数据中提取各模态数据的关键元数据,将关键元数据转换为关键元数据向量与多模态特征向量相连接,构建增强向量,通过增强向量进行检索,有助于提升知识覆盖范围和信息利用效率,提高生成内容的准确性、相关性和可信度。

    一种基于大模型的智能问答方法、系统及存储介质

    公开(公告)号:CN118626627A

    公开(公告)日:2024-09-10

    申请号:CN202411102673.8

    申请日:2024-08-13

    摘要: 本发明涉及人工智能技术领域,特别是涉及一种基于大模型的智能问答方法、系统及存储介质,本发明通过使用复杂度评估函数对用户问题进行复杂度评估,并根据复杂度评估结果,通过动态规划和外部工具的调用来采用不同的处理策略对用户问题进行处理,从而有助于避免简单问题处理过度复杂,而复杂问题处理不够充分的现象,通过对最终回答的质量进行评估和迭代优化的机制,有助于避免输出的最终回答不稳定或质量不佳的现象,并且在知识提取过程中,充分考虑用户的实际满意度,有助于能提升用户体验。