分布式数据库系统、在其中建立索引的方法和查询方法

    公开(公告)号:CN102375853A

    公开(公告)日:2012-03-14

    申请号:CN201010261167.5

    申请日:2010-08-24

    Abstract: 公开了一种分布式数据库系统和在分布式数据库系统中建立索引的方法。分布式数据库系统包括:多个分布式存储单元,分区存储有多个数据块文件;索引存储器,存储有所述多个数据块文件的索引;解析器,解析用户发起的查询语句,并选择相应的查询索引;索引查询模块,根据选择的查询索引,搜索所述多个数据块文件的索引以获得至少一个查询数据块集,所述查询数据块集包括索引键值、和记录了所述多个数据块文件中与所述索引键值对应的数据块文件的位置信息;以及并行处理引擎,将所述至少一个查询数据块集拆分并发起并行扫描任务。

    数据存取方法、调度方法、设备及系统

    公开(公告)号:CN103905503B

    公开(公告)日:2017-09-26

    申请号:CN201210581492.9

    申请日:2012-12-27

    Abstract: 本发明公开一种数据存取方法、调度方法、设备及系统,该数据调度方法包括:分布式缓存系统的服务器获取各缓存节点的内存使用信息;所述服务器根据各缓存节点的内存使用信息,确定需要进行数据迁移的源缓存节点,并在确定出需要迁移的源缓存节点后,确定出所述源缓存节点上需要迁移的哈希桶,以及能够容纳该哈希桶中的数据的目标缓存节点;所述服务器向所述源缓存节点发送数据调度指令,以指示所述源缓存节点将需要迁移的哈希桶中的数据迁移到所述目标缓存节点;所述服务器向被迁移的哈希桶所属的客户端设备发送映射关系更新指令,以指示该客户端根据本次数据迁移操作更新哈希桶与缓存节点的映射关系。

    一种数据处理方法和设备
    13.
    发明公开

    公开(公告)号:CN103905512A

    公开(公告)日:2014-07-02

    申请号:CN201210586821.9

    申请日:2012-12-28

    Inventor: 周大 钱岭 梁智超

    Abstract: 本发明公开了一种数据处理方法和设备,所述方法包括:对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:接收客户端发送的用于请求数据加载地址的地址请求;根据地址请求确定目标分组以及目标分组中各存储设备上的目标数据块的地址;向客户端返回目标分组中各存储设备上的目标数据块的地址,以使客户端根据目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。通过采用本发明提供的方法,可以减少被加锁存储设备的数量,降低存储系统出现死锁的概率。

    用于任务同步的方法和系统及系统中的主节点和工作节点

    公开(公告)号:CN103108000A

    公开(公告)日:2013-05-15

    申请号:CN201110351929.5

    申请日:2011-11-09

    Abstract: 本申请提供了大规模并行计算系统中的任务同步方法、任务同步系统、任务同步系统中的主节点及任务同步系统中的工作节点。根据本申请,大规模并行计算系统中的任务同步方法包括主节点将一个作业中的多个任务分配给多个工作节点;每个工作节点在完成分配给该工作节点的属于同一作业的所有任务后向主节点发送同步消息;以及在接收到所有工作节点发送的同步消息后,主节点确定该作业完成一个超步。根据本申请,在每个工作节点完成分配给该工作节点的属于同一作业的所有任务后向主节点发送同步消息,避免了每个任务完成后直接向主节点发送同步消息,从而降低了主节点的负载和网络通信量。

    稀疏索引的建立方法和装置、稀疏索引及查询方法和装置

    公开(公告)号:CN103092885A

    公开(公告)日:2013-05-08

    申请号:CN201110347637.4

    申请日:2011-11-07

    Abstract: 本发明公开了一种稀疏索引的建立方法和装置:针对每个待处理的数据记录,分别利用同一散列函数计算其键值的散列值,并根据计算出的散列值将该数据记录保存到对应的分区中,保存到同一分区中的数据记录具有相同的散列值;对于任一分区,初始阶段,其中的内容为空,当所保存的数据记录达到预定要求时,利用所保存的数据记录组成一个文件块,当所保存的未组成文件块的数据记录再次达到预定要求时,利用未组成文件块的数据记录组成另一个文件块,依次类推;每组成一个文件块,则为该文件块建立一个索引项;应用上述方法和装置,能够加快稀疏索引的建立速度。本发明同时公开了一种稀疏索引以及基于该稀疏索引的查询方法和装置。

    建立数据索引的方法、利用该索引查询数据的方法和系统

    公开(公告)号:CN102375852A

    公开(公告)日:2012-03-14

    申请号:CN201010261159.0

    申请日:2010-08-24

    Abstract: 公开了一种在数据库中查询数据的方法、数据库查询系统和建立数据库索引的方法。在数据库中查询数据的方法包括:接收数据查询指令并确定所述数据查询指令中包括的索引键值;确定所述索引键值是用于近似索引还是精确索引;如果确定的结果是所述索引键值是用于近似索引,则通过所述索引键值,从所述近似索引在单位存储空间中标识的位置开始扫描查询数据记录,以及如果确定的结果是所述索引键值是用于精确索引,则通过所述索引键值在所述单位存储空间中标识的位置处查询数据记录。

    一种分布式关系数据库及其建立、查询方法和装置

    公开(公告)号:CN103186651B

    公开(公告)日:2016-12-14

    申请号:CN201110461308.2

    申请日:2011-12-31

    Abstract: 本发明实施例公开了一种分布式关系数据库及其建立、查询方法和装置。该方法包括:将未来需要执行连接查询操作的数据列作为目标列,从两个以上的数据表中,提取出目标列的取值相同的各行数据,将所述各行数据存储在同一个存储节点内。应用本发明能够降低数据表的复制和传输开销、以及内存消耗。

    用于任务同步的方法和系统及系统中的主节点和工作节点

    公开(公告)号:CN103108000B

    公开(公告)日:2016-08-10

    申请号:CN201110351929.5

    申请日:2011-11-09

    Abstract: 本申请提供了大规模并行计算系统中的任务同步方法、任务同步系统、任务同步系统中的主节点及任务同步系统中的工作节点。根据本申请,大规模并行计算系统中的任务同步方法包括主节点将一个作业中的多个任务分配给多个工作节点;每个工作节点在完成分配给该工作节点的属于同一作业的所有任务后向主节点发送同步消息;以及在接收到所有工作节点发送的同步消息后,主节点确定该作业完成一个超步。根据本申请,在每个工作节点完成分配给该工作节点的属于同一作业的所有任务后向主节点发送同步消息,避免了每个任务完成后直接向主节点发送同步消息,从而降低了主节点的负载和网络通信量。

    随机写的方法和转换器
    19.
    发明授权

    公开(公告)号:CN103176912B

    公开(公告)日:2016-01-27

    申请号:CN201110441851.6

    申请日:2011-12-26

    Abstract: 本发明公开了一种随机写的方法及转换器,其中,该方法包括:接收下发的随机写序列,对该随机写序列进行排序处理;根据排序后写序列的地址,获取该写序列的空闲地址;将存储介质上与空闲地址对应地址上的数据读入后置于空闲地址中,生成在连续地址上数据呈连续排列的连续写序列,将该连续写序列写入存储介质的对应地址上。本发明的随机写的方法和转换器,将低速的随机写转换为高速的连续写,充分利用固态硬盘的高速连续写的性能,大大提高了固态硬盘的随机写速度性能。

    随机写的方法和转换器
    20.
    发明公开

    公开(公告)号:CN103176912A

    公开(公告)日:2013-06-26

    申请号:CN201110441851.6

    申请日:2011-12-26

    Abstract: 本发明公开了一种随机写的方法及转换器,其中,该方法包括:接收下发的随机写序列,对该随机写序列进行排序处理;根据排序后写序列的地址,获取该写序列的空闲地址;将存储介质上与空闲地址对应地址上的数据读入后置于空闲地址中,生成在连续地址上数据呈连续排列的连续写序列,将该连续写序列写入存储介质的对应地址上。本发明的随机写的方法和转换器,将低速的随机写转换为高速的连续写,充分利用固态硬盘的高速连续写的性能,大大提高了固态硬盘的随机写速度性能。

Patent Agency Ranking