分布式数据加载调度方法与系统

    公开(公告)号:CN103188161B

    公开(公告)日:2017-11-21

    申请号:CN201110453878.7

    申请日:2011-12-30

    Abstract: 本发明公开了一种分布式数据加载调度的方法及系统,其中,该方法包括:控制节点实时收集源加载节点和目的加载节点的运行状态信息;控制节点根据运行状态信息,生成配置更新信息下发给源加载节点和目的加载节点;其中,控制节点位于分布式系统中。本发明的分布式数据加载调度方法和系统,采用动态拓扑生成和自动调度方法,由于采用灵活的配置更新策略,保证了系统的负载均衡和高可靠性,提高了系统吞吐率,提高了数据加载的效率。

    一种社交网络分析方法和装置

    公开(公告)号:CN103138981B

    公开(公告)日:2017-03-29

    申请号:CN201110391293.7

    申请日:2011-11-30

    Abstract: 本发明公开了一种社交网络分析方法和装置。其中该方法包括:根据社交网络文件生成针对每个节点的节点信息;控制所述社交网络中所有节点根据相应的节点信息进行遍历,遍历所述社交网络所有节点后,得到所述社交网络的拓扑特征值。本发明通过采用多个节点同时并发的机制,即所有节点都并行推送遍历信息,解决了社交网络中需要多次迭代才能遍历完数据的问题,降低了分析的时间复杂度,提高分析效率。

    负载均衡方法及系统
    34.
    发明公开

    公开(公告)号:CN105808340A

    公开(公告)日:2016-07-27

    申请号:CN201410836737.7

    申请日:2014-12-29

    Inventor: 徐萌 鲍玉斌 钱岭

    Abstract: 本发明实施例公开了一种负载均衡方法及系统,所述方法包括:获取在第L超级步中每个任务的相关信息;依据每个任务的相关信息,预测每个任务在第K超级步中的激活顶点数量;依据每个任务在第K超级步的激活顶点数量,预测每个任务在第K超级步的运行时间;其中,L为大于等于1的正整数、K为大于L的正整数;依据每个任务在第K超级步中的运行时间,确定短板任务集合和长板任务集合;预测将短板任务集合中一任务上的数据迁移至长板任务集合中一任务上而产生的迁移收益及迁移代价;当迁移收益不低于迁移代价时,将短板任务集合中所述任务上的数据迁移至长板任务集合中的所述任务上。能够避免水桶效应,使各任务的计算负载均衡,提高计算效率。

    一种升级系统、方法、装置及云计算节点

    公开(公告)号:CN104850416A

    公开(公告)日:2015-08-19

    申请号:CN201410054935.8

    申请日:2014-02-18

    Inventor: 钱岭 张志宏 郭旸

    Abstract: 本发明公开了一种升级系统、方法、装置及云计算节点,用以提高云计算集群系统升级的通用性和可靠性,包括RUM和多个云计算集群子系统,云计算集群子系统包括MN和至少两个SN,MN包括RUMA,SN包括RUA,其中:RUM用于在接收到系统升级指令之后,向RUMA发送系统升级请求;以及根据RUMA返回的升级管理信息确定升级策略;并向RUMA发送升级策略;RUMA用于在接收到系统升级请求之后,向MN获取SN的状态信息;根据获取的状态信息确定升级管理信息并发送给RUM;以及根据RUM发送的升级策略,向RUA发送系统升级指示信息;RUA用于在接收到系统升级指示信息之后,执行系统升级操作。

    一种数据存储和查询方法以及装置

    公开(公告)号:CN103914462A

    公开(公告)日:2014-07-09

    申请号:CN201210592932.0

    申请日:2012-12-31

    CPC classification number: G06F17/30312

    Abstract: 本申请公开了一种数据存储和查询方法以及装置。该方法包括:确定单位批量待存储数据的每个列所需的数据块个数、大小和取值范围并为每个列初始化存储空间;按照单位批量待存储数据的各行数据的同一列的取值所属的范围、以及同一取值范围内各行数据的同一列的取值之间的排序关系,确定该列的存储空间中分别用于存储所述各行数据的该列的取值的数据块的ID和数据块内的位置,在相应数据块的相应位置处存储所述各行数据的该列的取值,使得同一个数据块内的各行取值有序排列、且各个数据块存储的取值之间也有序排列;存储同一行数据中各个列之间的存储位置引用关系信息。应用本发明能够提高大批量用户并发执行查询操作时的并发操作吞吐率。

    数据存取方法、调度方法、设备及系统

    公开(公告)号:CN103905503A

    公开(公告)日:2014-07-02

    申请号:CN201210581492.9

    申请日:2012-12-27

    Abstract: 本发明公开一种数据存取方法、调度方法、设备及系统,该数据调度方法包括:分布式缓存系统的服务器获取各缓存节点的内存使用信息;所述服务器根据各缓存节点的内存使用信息,确定需要进行数据迁移的源缓存节点,并在确定出需要迁移的源缓存节点后,确定出所述源缓存节点上需要迁移的哈希桶,以及能够容纳该哈希桶中的数据的目标缓存节点;所述服务器向所述源缓存节点发送数据调度指令,以指示所述源缓存节点将需要迁移的哈希桶中的数据迁移到所述目标缓存节点;所述服务器向被迁移的哈希桶所属的客户端设备发送映射关系更新指令,以指示该客户端根据本次数据迁移操作更新哈希桶与缓存节点的映射关系。

    一种任务调度的方法、设备和系统

    公开(公告)号:CN102567086B

    公开(公告)日:2014-05-07

    申请号:CN201010623545.X

    申请日:2010-12-30

    Abstract: 本发明公开了一种任务调度的方法、设备和系统,该方法包括:确定备作业节点的资源信息以及存储任务的各队列对应资源的优先级信息;根据各作业节点的资源信息和各队列对应资源的优先级信息将所述队列中的任务分配到对应的作业节点。本发明实施例中,通过统筹考虑各种类型的作业,根据各作业节点的资源信息将队列中的任务分配到合适的作业节点,以合理调度各种类型的作业。通过统一管理各种类型的作业,不会出现某种类型的作业消耗系统的所有资源导致其他作业堵塞的情况。

    分布式预处理方法和系统
    39.
    发明公开

    公开(公告)号:CN103188306A

    公开(公告)日:2013-07-03

    申请号:CN201110455625.3

    申请日:2011-12-30

    Abstract: 本发明公开了一种分布式预处理的方法及系统,其中,该方法包括:处理节点接收自源节点发送的数据;管理模块根据处理节点的不同需求配置执行模块的种类和执行顺序;处理节点调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的数据进行预处理操作。本发明的分布式预处理方法和系统,可以动态、灵活地管理Process节点的预处理过程,管理执行模块集合,保证Process节点预处理过程的一致性和原子性;系统保证了Process节点的多个执行模块的预处理中间结果都在内存中处理,不需要临时存储,提高了预处理性能。

    一种分布式关系数据库及其建立、查询方法和装置

    公开(公告)号:CN103186651A

    公开(公告)日:2013-07-03

    申请号:CN201110461308.2

    申请日:2011-12-31

    Abstract: 本发明实施例公开了一种分布式关系数据库及其建立、查询方法和装置。该方法包括:将未来需要执行连接查询操作的数据列作为目标列,从两个以上的数据表中,提取出目标列的取值相同的各行数据,将所述各行数据存储在同一个存储节点内。应用本发明能够降低数据表的复制和传输开销、以及内存消耗。

Patent Agency Ranking