分布式预处理方法和系统

    公开(公告)号:CN103188306B

    公开(公告)日:2016-04-27

    申请号:CN201110455625.3

    申请日:2011-12-30

    Abstract: 本发明公开了一种分布式预处理的方法及系统,其中,该方法包括:处理节点接收自源节点发送的数据;管理模块根据处理节点的不同需求配置执行模块的种类和执行顺序;处理节点调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的数据进行预处理操作。本发明的分布式预处理方法和系统,可以动态、灵活地管理Process节点的预处理过程,管理执行模块集合,保证Process节点预处理过程的一致性和原子性;系统保证了Process节点的多个执行模块的预处理中间结果都在内存中处理,不需要临时存储,提高了预处理性能。

    分布式数据加载调度方法与系统

    公开(公告)号:CN103188161A

    公开(公告)日:2013-07-03

    申请号:CN201110453878.7

    申请日:2011-12-30

    Abstract: 本发明公开了一种分布式数据加载调度的方法及系统,其中,该方法包括:控制节点实时收集源加载节点和目的加载节点的运行状态信息;控制节点根据运行状态信息,生成配置更新信息下发给源加载节点和目的加载节点;其中,控制节点位于分布式系统中。本发明的分布式数据加载调度方法和系统,采用动态拓扑生成和自动调度方法,由于采用灵活的配置更新策略,保证了系统的负载均衡和高可靠性,提高了系统吞吐率,提高了数据加载的效率。

    一种多磁盘场景下的磁盘管理方法和设备

    公开(公告)号:CN102541460A

    公开(公告)日:2012-07-04

    申请号:CN201010613959.4

    申请日:2010-12-20

    Abstract: 本发明实施例公开了一种多磁盘场景下的磁盘管理方法和设备,通过应用本发明实施例所提出的技术方案,在进行磁盘选择时,针对每个任务,不仅考虑各磁盘的剩余空间,还进一步考虑各磁盘的性能信息,为各磁盘确定综合的优先级参数,并根据该优先级参数为该任务进行磁盘选择,从而,可以更加高效合理的进行磁盘管理,实现发挥磁盘的性能。

    一种数据处理方法和设备

    公开(公告)号:CN103905512B

    公开(公告)日:2017-06-20

    申请号:CN201210586821.9

    申请日:2012-12-28

    Inventor: 周大 钱岭 梁智超

    Abstract: 本发明公开了一种数据处理方法和设备,所述方法包括:对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:接收客户端发送的用于请求数据加载地址的地址请求;根据地址请求确定目标分组以及目标分组中各存储设备上的目标数据块的地址;向客户端返回目标分组中各存储设备上的目标数据块的地址,以使客户端根据目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。通过采用本发明提供的方法,可以减少被加锁存储设备的数量,降低存储系统出现死锁的概率。

    一种多磁盘场景下的磁盘管理方法和设备

    公开(公告)号:CN102541460B

    公开(公告)日:2014-10-08

    申请号:CN201010613959.4

    申请日:2010-12-20

    Abstract: 本发明实施例公开了一种多磁盘场景下的磁盘管理方法和设备,通过应用本发明实施例所提出的技术方案,在进行磁盘选择时,针对每个任务,不仅考虑各磁盘的剩余空间,还进一步考虑各磁盘的性能信息,为各磁盘确定综合的优先级参数,并根据该优先级参数为该任务进行磁盘选择,从而,可以更加高效合理的进行磁盘管理,实现发挥磁盘的性能。

    分布式数据加载调度方法与系统

    公开(公告)号:CN103188161B

    公开(公告)日:2017-11-21

    申请号:CN201110453878.7

    申请日:2011-12-30

    Abstract: 本发明公开了一种分布式数据加载调度的方法及系统,其中,该方法包括:控制节点实时收集源加载节点和目的加载节点的运行状态信息;控制节点根据运行状态信息,生成配置更新信息下发给源加载节点和目的加载节点;其中,控制节点位于分布式系统中。本发明的分布式数据加载调度方法和系统,采用动态拓扑生成和自动调度方法,由于采用灵活的配置更新策略,保证了系统的负载均衡和高可靠性,提高了系统吞吐率,提高了数据加载的效率。

    数据存取方法、调度方法、设备及系统

    公开(公告)号:CN103905503A

    公开(公告)日:2014-07-02

    申请号:CN201210581492.9

    申请日:2012-12-27

    Abstract: 本发明公开一种数据存取方法、调度方法、设备及系统,该数据调度方法包括:分布式缓存系统的服务器获取各缓存节点的内存使用信息;所述服务器根据各缓存节点的内存使用信息,确定需要进行数据迁移的源缓存节点,并在确定出需要迁移的源缓存节点后,确定出所述源缓存节点上需要迁移的哈希桶,以及能够容纳该哈希桶中的数据的目标缓存节点;所述服务器向所述源缓存节点发送数据调度指令,以指示所述源缓存节点将需要迁移的哈希桶中的数据迁移到所述目标缓存节点;所述服务器向被迁移的哈希桶所属的客户端设备发送映射关系更新指令,以指示该客户端根据本次数据迁移操作更新哈希桶与缓存节点的映射关系。

    一种任务调度的方法、设备和系统

    公开(公告)号:CN102567086B

    公开(公告)日:2014-05-07

    申请号:CN201010623545.X

    申请日:2010-12-30

    Abstract: 本发明公开了一种任务调度的方法、设备和系统,该方法包括:确定备作业节点的资源信息以及存储任务的各队列对应资源的优先级信息;根据各作业节点的资源信息和各队列对应资源的优先级信息将所述队列中的任务分配到对应的作业节点。本发明实施例中,通过统筹考虑各种类型的作业,根据各作业节点的资源信息将队列中的任务分配到合适的作业节点,以合理调度各种类型的作业。通过统一管理各种类型的作业,不会出现某种类型的作业消耗系统的所有资源导致其他作业堵塞的情况。

    分布式预处理方法和系统

    公开(公告)号:CN103188306A

    公开(公告)日:2013-07-03

    申请号:CN201110455625.3

    申请日:2011-12-30

    Abstract: 本发明公开了一种分布式预处理的方法及系统,其中,该方法包括:处理节点接收自源节点发送的数据;管理模块根据处理节点的不同需求配置执行模块的种类和执行顺序;处理节点调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的数据进行预处理操作。本发明的分布式预处理方法和系统,可以动态、灵活地管理Process节点的预处理过程,管理执行模块集合,保证Process节点预处理过程的一致性和原子性;系统保证了Process节点的多个执行模块的预处理中间结果都在内存中处理,不需要临时存储,提高了预处理性能。

    一种分布式关系数据库及其建立、查询方法和装置

    公开(公告)号:CN103186651A

    公开(公告)日:2013-07-03

    申请号:CN201110461308.2

    申请日:2011-12-31

    Abstract: 本发明实施例公开了一种分布式关系数据库及其建立、查询方法和装置。该方法包括:将未来需要执行连接查询操作的数据列作为目标列,从两个以上的数据表中,提取出目标列的取值相同的各行数据,将所述各行数据存储在同一个存储节点内。应用本发明能够降低数据表的复制和传输开销、以及内存消耗。

Patent Agency Ranking