数据处理方法、装置及可读存储介质

    公开(公告)号:CN112818007A

    公开(公告)日:2021-05-18

    申请号:CN202110152535.0

    申请日:2021-02-03

    Abstract: 本公开涉及一种数据处理方法、装置及可读存储介质,其中,该方法通过预先对相邻的数据子集进行匹配,并存储获得的对应关系。在获取到查询任务时,可根据查询条件,在上述预先保存的对应关系中直接进行查询,无需如现有技术中按照查询条件在原始数据集中进行逐条匹配。另外,本公开实施例提供的方案,多个目标数据子集组分别对应的查询任务可以并行执行,能够进一步提高处理效率。且本实施例提供的方案,在进行正向查询以及反向回溯的过程,是根据数据元素的标识进行查询匹配,从而可以忽略数据元素的数据类型、数据结构等,更加灵活,也更加有利于后期维护和存储。

    计算任务部署方法及装置
    32.
    发明授权

    公开(公告)号:CN109788061B

    公开(公告)日:2021-02-26

    申请号:CN201910064110.7

    申请日:2019-01-23

    Inventor: 卢文岩 鄢贵海

    Abstract: 本发明提供了一种计算任务部署方法及装置,该方法包括:根据计算任务的优先级评估指标和预先建立的优先级评估指标与优先等级的对应关系,确定所述计算任务的优先等级;依据所述计算任务的优先等级,根据至少包括所述计算任务的任务组合所需要的带宽和向处理设备传输数据的通信带宽,将所述计算任务部署至所述处理设备。通过上述方案能够在避免数据供应不足的情况下提高通信带宽的利用率,从而提高计算效率。

    数据存储方法、数据检索方法、数据库访问方法及装置

    公开(公告)号:CN111241102B

    公开(公告)日:2021-02-09

    申请号:CN202010030466.1

    申请日:2020-01-13

    Abstract: 本发明提供了一种数据存储方法、数据检索方法、数据库访问方法及装置,其中,该数据存储方法包括:将主表分割为第一数量的多个部分,并将主表的每个部分存储至一个第一存储块;将各子表分割为第二数量的多个部分,将所有子表的同一序位的部分组合在一起,以及将每个组合结果存储至一个第二存储块;其中,主表中每个地址包括主数据ID、主数据及子表ID,每个子表ID对应一个子表,每个子表中每个地址包括从数据ID和从数据,所述第一数量和所述第二数量相同或不同。实现基于硬件的数据存储等功能,提高数据检索效率,进而提高计算效率。

    一种基于硬件实现的哈希表结构以及插入、查询和删除方法

    公开(公告)号:CN112269784A

    公开(公告)日:2021-01-26

    申请号:CN202011173962.9

    申请日:2020-10-28

    Inventor: 鄢贵海 卢文岩

    Abstract: 本发明属于数据处理技术领域,具体涉及一种基于硬件实现的哈希表结构以及操作插入、查询和删除方法。所述哈希表结构包括:哈希值计算模块,用于获取输入关键字的哈希值;还用于查找和/或修改哈希表主表模块、哈希表次级表模块;哈希表主表模块,包括数值栏和第一地址栏;哈希表次级表模块,包括数据栏、标志位和第二地址栏;哈希表次级表维护模块,用于记录所述哈希表次级表模块中的空闲存储地址。通过上述硬件结构构成的哈希表结构不仅成本、功耗交底,还能能够提高效率,同时逻辑控制、电路复杂程度等也更高,能够满足更高强度的使用。

    基于多个数据库加速器的任务执行方法及装置

    公开(公告)号:CN112256409A

    公开(公告)日:2021-01-22

    申请号:CN202010969557.1

    申请日:2020-09-15

    Inventor: 鄢贵海 龚施俊

    Abstract: 本发明提供了一种基于多个数据库加速器的任务执行方法及装置,其中,该方法包括:获取待执行的第一任务的相关信息,获取之前尚未执行完的各任务的相关信息;根据第一任务的表标识和之前尚未执行完的任务的操作类型和表标识,判断之前尚未执行完的各任务中是否存在与第一任务相关的第二任务;若存在,则延迟设定阻塞时长后将第一任务发送至存在空闲的流水线的数据库加速器,以在第二任务执行完成的情况下执行第一任务;若不存,则即时将第一任务发送至存在空闲的流水线的数据库加速器,以即时执行第一任务;接收第一任务的执行结果。通过上述方案能实现多个加速平台并行执行任务,并能提高加速平台的利用率。

    TCP/IP加速器的交互方法和装置

    公开(公告)号:CN111031011B

    公开(公告)日:2020-12-25

    申请号:CN201911171018.7

    申请日:2019-11-26

    Abstract: 本发明提供了一种TCP/IP加速器的交互方法和装置,其中,该方法包括:获取目标TCP/IP加速器板卡的地址信息,并向网卡发送携带有地址信息的通信指令以建立与TCP/IP加速器板卡的TCP连接;通过软件为目标数据分配地址并向TCP/IP加速器板卡发送写数据指令,将目标数据写入TCP/IP加速器板卡;在TCP/IP加速器板卡对目标数据进行处理之后,向TCP/IP加速器板卡发送读数据指令,从TCP/IP加速器板卡中读取数据的存储信息,根据存储信息从TCP/IP加速器板卡中读取处理后的目标数据。通过上述方案解决了现有的仅通过软件来进行数据处理所存在的效率低下、系统用时较多的技术问题,达到了有效提升硬件资源的利用率,从而减少系统等待时间的技术效果。

    数据库交互数据解码方法和装置

    公开(公告)号:CN112100170A

    公开(公告)日:2020-12-18

    申请号:CN202010777198.X

    申请日:2020-08-05

    Inventor: 鄢贵海 卢文岩

    Abstract: 本发明提供一种数据库交互数据解码方法和装置,该方法包括:从初始地址开始从存储单元顺序读取大包头数据,基于读取的大包头数据来解析出大包头信息;从所述存储单元按地址顺序读取中包头数据,基于读取的中包头数据来解析出中包头信息;从所述存储单元按地址顺序读取小包头数据,基于读取的小包头数据来解析出小包头信息;基于解析出的当前中包的中包ID信息,向控制模块请求解码配置信息,并在请求的解码配置信息与所述小包数据长度信息相匹配的情况下,从所述存储单元读取小包中的数据本体并进行解析。

    面向数据库访问的计算流图构建方法、访问方法及装置

    公开(公告)号:CN111190886B

    公开(公告)日:2020-12-15

    申请号:CN201911360808.X

    申请日:2019-12-25

    Abstract: 本发明提供了一种面向数据库访问的计算流图构建方法、访问方法及装置,该构建方法包括:获取SQL语句对应的语法树;根据从所述语法树获取的操作关键字,将所述语法树中的节点转换成计算流图节点,其中,所述操作关键字为From、Where、Group by、Having、Order by、Select或Limit;根据From、Where、Group by、Having、Order by、Select、Limit的从左到右的顺序,为各所述计算流图节点添加有向边;根据添加有向边后的所有所述计算流图节点生成计算流图。通过上述方案能够为数据库处理算法的优化提供便利。

    关系型数据库管理系统中的窗口聚合方法、查询方法及装置

    公开(公告)号:CN111061760B

    公开(公告)日:2020-12-15

    申请号:CN201911043816.1

    申请日:2019-10-30

    Abstract: 本发明提供了一种关系型数据库管理系统中的窗口聚合方法、查询方法及装置,其中,该聚合方法包括:将从原始关系型数据库中的窗口聚合节点的子节点获取的至少一个窗口长度的窗口数据存储至在内存中申请的元组类型的数组中;将元组类型的数组中的所有窗口数据转化为基础数据类型,并将所有基础数据类型的窗口数据存储至在内存中申请的基础数据类型的数组中;通过设定核函数输出窗口函数类型和基础数据类型的数组中的所有窗口数据,以利用外部硬件加速器根据窗口函数类型对窗口数据进行聚合;通过设定核函数接收返回的基础数据类型的窗口聚合结果,并将窗口聚合结果赋值到原始关系型数据库中。通过上述方案能够提高窗口聚合操作的执行效率。

    数据库数据获取方法和装置

    公开(公告)号:CN112035522A

    公开(公告)日:2020-12-04

    申请号:CN202010686897.3

    申请日:2020-07-16

    Inventor: 鄢贵海 赵璐

    Abstract: 本发明提供一种数据库数据获取方法和装置,所述方法包括:在CPU中构建用于记录对数据库中数据表的调用顺序信息的CPU链表,并基于创建的CPU链表加载数据库中相应数据表的数据到所述CPU的缓冲器中,其中所述CPU链表中包括多个数据表节点,CPU链表的数据表节点中已加载数据表的数据包括对应数据表的结构信息和指向对应数据表的数据信息的内存地址的指针;读取CPU缓冲器中已加载数据表中的至少部分数据表的数据,打包加载至指定硬件中,并利用硬件链表记录加载到硬件的数据表的结构信息;在用户输入的SQL语句为查询语句的情况下,基于CPU链表和/或硬件链表中的数据执行数据表的查询。本发明实施例能够加速硬件获取数据表资源。

Patent Agency Ranking