一种基于分离内存资源的数据库加速方法

    公开(公告)号:CN116860670A

    公开(公告)日:2023-10-10

    申请号:CN202310587287.1

    申请日:2023-05-22

    IPC分类号: G06F13/16 G06F13/28 G06F13/42

    摘要: 本发明涉及数据库异构加速技术领域,具体为一种基于分离内存资源的数据库加速方法,包括以下步骤:对于数据过滤可单次流水执行完成的加速操作;对于数据排序存储和读写带宽都要求高的加速操作;对于数据连接读写带宽要求高、存储要求低的加速操作;对于其他读写带宽要求低、存储要求高的加速操作;有益效果为:本发明提出的基于分离内存资源的数据库加速方法,通过主机解析器对当前查询操作的子操作进行解析,调用不同的加速算子,根据加速算子的执行特点,将加速算子分为高带宽计算型和高存储计算型两种算子;通过将高带宽计算型算子的数据存储到片上HBM2内存中,充分利用加速算子的计算逻辑,消除读写带宽对加速算子的限制。

    基于掩码计算的数据表解析方法、装置、设备及存储介质

    公开(公告)号:CN116361346A

    公开(公告)日:2023-06-30

    申请号:CN202310647218.5

    申请日:2023-06-02

    摘要: 本申请公开了一种基于掩码计算的数据表解析方法、装置、设备及存储介质,涉及计算机技术领域,包括:接收客户端发送的数据查询指令,并对所述数据查询指令进行解析,以得到目标计算算子;确定参与算子运算的数据表中的相关数据,并基于所述相关数据进行掩码计算,以得到有效数据掩码;所述算子运算为基于所述目标计算算子的数据运算;基于所述有效数据掩码以及所述数据表中的原始行数据进行数据运算,以得到有效列数据;基于所述目标计算算子对所述有效列数据进行加速运算,并根据运算结果输出目标数据,以将所述目标数据返回至所述客户端。这样一来,可以忽略数据表的单独解析过程,通过掩码计算进行数据表的解析,有效提高了数据表解析的效率。

    一种针对纵向联邦学习模型训练过程的优化方法及工具

    公开(公告)号:CN116306962A

    公开(公告)日:2023-06-23

    申请号:CN202310094719.5

    申请日:2023-02-07

    IPC分类号: G06N20/00

    摘要: 本发明公开一种针对纵向联邦学习模型训练过程的优化方法,涉及模型训练技术领域,该优化方法在数据输入后执行以下操作:确定参与联邦学习的各方编号范围下具有最小上限的一方和具有最大下限的一方;基于最小上限和最大下限,计算各方的新编号范围,并拟定交集范围;使用二分法将交集范围划分为多个子区间;针对每个子区间分别进行隐私求交和纵向联邦学习,整合所有子区间的纵向联邦学习结果,执行模型验证。本发明还公开一种针对纵向联邦学习模型训练过程的优化工具,其余前述方法相结合,可以在保证信息不泄露的情况下加速纵向联邦学习的模型训练过程,提高纵向联邦学习模型的训练效率。

    一种数据向量化聚集方法、装置、设备及存储介质

    公开(公告)号:CN116028541B

    公开(公告)日:2023-06-20

    申请号:CN202310115477.3

    申请日:2023-02-15

    摘要: 本申请公开了一种数据向量化聚集方法、装置、设备及存储介质,涉及数据库技术领域,包括:获取若干包含相应数据处理操作的数据查询指令,并对若干数据查询指令进行向量化处理以生成向量化指令;基于向量化指令对预设数据库进行扫描操作以读取与每一数据查询指令对应的若干待处理数据并存储至本地的预设内存;将与所述数据聚集操作对应的所述向量化指令发送至预设的FPGA硬件加速平台中,以便所述FPGA硬件加速平台基于所述向量化指令从所述预设内存中获取相应的所述待处理数据以进行数据聚集操作,并将相应的数据处理结果返回至所述中央处理器。本申请通过向量化处理实现数据合并,利用FPGA硬件加速平台实现加速处理,减少时延开销。

    一种数据库查询加速引擎装置、方法及存储介质

    公开(公告)号:CN115827682A

    公开(公告)日:2023-03-21

    申请号:CN202310094045.9

    申请日:2023-02-10

    摘要: 本申请公开了一种数据库查询加速引擎装置、方法及存储介质,涉及数据库技术领域,包括:引擎通道适配器和与主机服务器建立通信连接的主机通道适配器;与引擎通道适配器和主机通道适配器连接的Infiniband接口,用于获取主机服务器在对数据查询请求响应时产生的数据处理指令和从关系型数据库中查找到的待处理数据并传输至引擎通道适配器;与引擎通道适配器建立通信连接的FPGA模块,用于获取数据处理指令和待处理数据并基于数据处理指令对待处理数据进行数据处理操作,将数据处理结果传输至引擎通道适配器以便将数据处理结果发送至主机服务器。本申请通过数据库查询加速引擎装置可以实现数据库的快速查询操作,以减少时间损耗。

    一种可重构数据库查询加速处理器及系统

    公开(公告)号:CN115544069B

    公开(公告)日:2023-06-20

    申请号:CN202211171645.2

    申请日:2022-09-26

    IPC分类号: G06F16/2453 G06F9/50

    摘要: 本发明涉及数据库设计领域,具体提供了一种可重构数据库查询加速处理器,包括主机服务器和FPGA,所述主机服务器分析用户需求并控制加速器,所述FPGA进行加速器处理;FPGA包括控制器、内存和数据路径,所述控制器接收来自主机服务器的请求并管理内存访问数据,还控制所述数据路径保证数据按照正确的方向流动;数据路径用于数据处理和计算,用于TPC‑DS进行查询。与现有技术相比,本发明可重构数据库查询加速处理器不仅支持不同的查询操作,而且可以通过共享FPGA上的通用模块来提高资源的利用率。

    一种基于异构系统的耦合型任务乱序执行方法

    公开(公告)号:CN117056355A

    公开(公告)日:2023-11-14

    申请号:CN202310651559.X

    申请日:2023-06-05

    摘要: 本发明涉及异构加速技术领域,具体为一种基于异构系统的耦合型任务乱序执行方法,包括以下步骤:以OpenCL编程框架为基础构建CPU+FPGA的异构平台;在主机侧遍历操作指令队列,将数据库操作依据相关的耦合、依赖关系组合成不同类型的加速任务;有益效果为:本发明提出的基于异构系统的耦合型任务乱序执行方法,以分布式架构为基础,纵向部署耦合型、伪耦合型异构加速节点。在主机侧遍历操作指令队列,将数据库操作依据相关的耦合、依赖关系组合成不同类型的加速任务,并根据任务类别定义不同的优先级乱序派遣到相应的加速节点执行。

    基于掩码计算的数据表解析方法、装置、设备及存储介质

    公开(公告)号:CN116361346B

    公开(公告)日:2023-08-08

    申请号:CN202310647218.5

    申请日:2023-06-02

    摘要: 本申请公开了一种基于掩码计算的数据表解析方法、装置、设备及存储介质,涉及计算机技术领域,包括:接收客户端发送的数据查询指令,并对所述数据查询指令进行解析,以得到目标计算算子;确定参与算子运算的数据表中的相关数据,并基于所述相关数据进行掩码计算,以得到有效数据掩码;所述算子运算为基于所述目标计算算子的数据运算;基于所述有效数据掩码以及所述数据表中的原始行数据进行数据运算,以得到有效列数据;基于所述目标计算算子对所述有效列数据进行加速运算,并根据运算结果输出目标数据,以将所述目标数据返回至所述客户端。这样一来,可以忽略数据表的单独解析过程,通过掩码计算进行数据表的解析,有效提高了数据表解析的效率。