一种融合文字、图像与音频的多模态模型及方法

    公开(公告)号:CN118861988A

    公开(公告)日:2024-10-29

    申请号:CN202411065437.3

    申请日:2024-08-05

    摘要: 本发明提出一种基于多模态信息融合的视频检索方法及系统,属于人工智能设备技术领域,包括:视频帧抽取与编码模块用于获取视频,对视频进行视频帧抽取获得图形序列,对图形序列进行特征编码;音频分离与编码模块用于提取视频的音频部分;文本编码模块用于对视频的描述文件进行编码;对齐模块用于对音频,图像和文字及进行对齐,多模态融合与理解模块用于实现不同模态间的深度交互和信息融合;文字生成模块基于多模态特征进行文字信息的生成,不仅能够高效地融合和处理文字、图像、音频等多元信息,还包含了先进的量化技术以降低模型体积、减少计算资源消耗,同时确保模型性能。

    一种自动挖掘低代码平台用户行为模式的系统和方法

    公开(公告)号:CN118861528A

    公开(公告)日:2024-10-29

    申请号:CN202410998210.8

    申请日:2024-07-24

    发明人: 仵夺 李彬 李圣伟

    摘要: 本发明涉及数据挖掘领域,具体是一种自动挖掘低代码平台用户行为模式的系统和方法。本发明通过实时数据采集和处理,能够及时捕捉用户行为变化,确保分析结果的时效性。采用先进的深度学习、NLP、图神经网络和增强学习算法,自动化程度高,无需人工干预,极大提升了分析效率。综合分析用户的多种行为数据,包括点击、文本、图像等,全面捕捉用户行为特征,提高分析的准确性和全面性。通过深入挖掘用户行为模式,能够为用户提供个性化的操作建议和推荐,提升用户体验,增强用户粘性。通过图神经网络和增强学习的结合,能够及时发现并预警异常用户行为,提升平台的安全性和可靠性。

    基于FPGA的多场景数据处理加速系统及方法

    公开(公告)号:CN118860653A

    公开(公告)日:2024-10-29

    申请号:CN202410958220.9

    申请日:2024-07-17

    摘要: 本发明公开了基于FPGA的多场景数据处理加速系统及方法,属于FPGA加速运算技术领域,本发明要解决的技术问题为如何在充分发挥通用加速卡价值的基础上,实现切换到其他场景的推理运算中,避免资源浪费,采用的技术方案为:包括RISC‑V架构的CPU、GDDR6显存、PCIe控制器、HBM2内存以及N个FPGA计算核心,N大于等于1;RISC‑V架构的CPU、GDDR6显存、PCIe控制器、HBM2内存以及FPGA计算核心通过内部互连高速总线相连;其中,FPGA计算核心由FPGA编程后实现,用于接受主机卸载的计算任务,并根据主机指令,分配制定的资源进行并行处理;在混合加速场景中,根据加速任务中各类型任务所占比重,将N个FPGA计算核心办成为不同类型的计算核心。

    一种基于KAN网络的大模型压缩方法及系统

    公开(公告)号:CN118673969B

    公开(公告)日:2024-10-29

    申请号:CN202411146611.7

    申请日:2024-08-21

    IPC分类号: G06N3/0499 G06N3/082

    摘要: 本发明提出一种基于KAN网络的大模型压缩方法及系统,属于人工智能技术领域,将语言模型中的多层感知机结构替换为三层的KAN网络,其中第一层由输入到隐藏单元的边组成,第二层由隐藏单元之间的边组成,第三层由隐藏单元到输出的边组成,每条边都与一个可学习的一元函数相关联,这些函数使用B样条参数化,在模型训练时,通过在损失函数中引入L1正则化项来诱导KAN网络的稀疏性,使得许多边的权重趋于零,训练后,去除权重小于阈值的边,并将B样条激活函数近似为分段函数,得到一个紧凑、高效的压缩模型,能在保持模型性能的同时,显著减少参数量和推理计算量,可广泛应用于各类大型语言模型的压缩。

    一种智能高效的错误检测与修复方法及系统

    公开(公告)号:CN118656107B

    公开(公告)日:2024-10-29

    申请号:CN202411147172.1

    申请日:2024-08-21

    IPC分类号: G06F8/70 G06F11/36 G06N20/00

    摘要: 本发明公开了一种智能高效的错误检测与修复方法及系统,属于软件工程与人工智能技术领域,包括:静态代码分析:通过分析源代码,识别潜在的错误和代码异味;对源代码进行全面扫描,识别潜在的语法错误、逻辑漏洞和代码异味,并生成初步的错误报告,展示检测到的所有问题;异常检测算法:通过机器学习和模式识别,检测代码中的异常行为和潜在缺陷,结合静态分析结果,生成综合性的错误报告;智能修复:根据综合性的错误报告,生成修复建议,并展示在用户界面上;对于常见错误,自动执行修复操作,并记录修复过程。本发明通过静态代码分析和先进的异常检测算法,实现高效的错误检测与修复,提升软件质量和开发效率。

    一种长图像序列理解方法及系统
    8.
    发明公开

    公开(公告)号:CN118823369A

    公开(公告)日:2024-10-22

    申请号:CN202411272961.8

    申请日:2024-09-12

    发明人: 杨彤 李雪 姜凯 李锐

    摘要: 本发明提出一种长图像序列理解方法及系统,属于人工智能技术领域,包括:获取长图像,获得图像的高级语义信息,并进行向量化得到图像向量;获取文本描述,获得文本描述的基本特征矩阵,并进行向量化得到文本向量;将图像向量和文本向量输入共同注意力模块,输出图像块的序列构造;将序列构造进行图像文本交替序列处理,获得文本特征Htext和视觉特征Himg;输入图形文本交互注意力模块获得融合特征;通过引入邻近视觉注意力掩码和图像文本交错旋转位置嵌入来增强模型对图像序列的理解能力,使得模型不仅能够有效处理长图像序列,还能在诸如图像描述生成、多图像推理、视频理解及多模态问答等多种应用场景中展现出色的表现。

    一种基于GPGPU的线程重组方法、设备及介质

    公开(公告)号:CN118819868A

    公开(公告)日:2024-10-22

    申请号:CN202411303411.8

    申请日:2024-09-19

    IPC分类号: G06F9/50 G06T1/20

    摘要: 本说明书实施例公开了一种基于GPGPU的线程重组方法、设备及介质,涉及线程分支管理技术领域,方法包括:对当前处理单元中执行的多个线程束进行监测,采集当前时钟周期下每个线程束对应的当前线程执行信息;根据当前线程执行信息中的当前执行性能信息和预先获取的上一时钟周期对应的历史执行性能信息,对执行性能进行监测,以确定当前时钟周期对应的当前调整活跃线程门限数据;基于当前调整活跃线程门限数据和每个线程束对应的当前活跃线程信息,设置每个线程束的活跃线程状态标识,以通过每个线程束的活跃线程状态标识和当前线程束执行PC信息,对多个指定线程束进行线程重组,针对拥有不同活跃线程数量的线程束采取不同的重组方式,降低重组开销。

    一种任务执行方法、装置、设备及存储介质

    公开(公告)号:CN118672941B

    公开(公告)日:2024-10-22

    申请号:CN202411154887.X

    申请日:2024-08-22

    IPC分类号: G06F12/0811 G06F12/0813

    摘要: 本申请公开了一种任务执行方法、装置、设备及存储介质,涉及缓存技术领域,应用于流式多处理器,包括:基于上位机产生的计算任务生成针对自身一级缓存的读请求;计算任务对应有指令数据和操作数数据;若读请求未命中数据,则通过一级缓存将读请求转发至预设交叉矩阵,以将读请求转发至由若干流式多处理器共享的二级缓存;基于读请求经一级缓存从二级缓存读取指令数据或操作数数据;根据读取到的指令数据或操作数数据执行计算任务,并将运算结果缓存到二级缓存,以便上位机对计算任务对应的运算结果进行处理。这样一来,本申请通过独立一级缓存与共享二级缓存的层次化缓存结构可以高效读取计算任务对应的数据,集中管理缓存资源,降低了延迟。