分布式系统的调度方法及系统

    公开(公告)号:CN101753608B

    公开(公告)日:2013-06-05

    申请号:CN200810239118.4

    申请日:2008-12-09

    Abstract: 本发明公开了一种分布式系统的调度方法及系统,其中,该方法包括:数据调度器接收调度请求,该调度请求包括对数据的读取操作;数据保存在分布式系统中的至少一个提供数据服务的实体上;数据调度器确定该调度请求对应的各数据服务的状态,并在各数据服务为空闲或读取状态时,发送同意对各数据服务进行读取操作的调度响应;各数据服务为至少一个相同的数据服务。本发明可有效解决现有技术的分布式调度方式中资源浪费、任务处理效率低等缺陷,实现资源合理利用、提高任务处理效率。

    一种网页分类方法和设备

    公开(公告)号:CN102955810A

    公开(公告)日:2013-03-06

    申请号:CN201110249270.2

    申请日:2011-08-26

    Abstract: 本发明公开了一种网页分类方法和设备,该方法利用现有URL类别库中的记录,建立虚拟的层级URL,并对层级URL的类别进行预测。当需要对待分类网页进行分类时,根据待分类网页的URL查询URL类别库;如果未查询到匹配的URL,则根据该URL的上层URL查询URL类别库,并在查询到匹配的URL时,根据查询到的URL的预测类别确定待分类网页的类别。在本发明中,提高了网页分类的效率和成功率。

    一种确定数据样本类别的方法及其系统

    公开(公告)号:CN101799748B

    公开(公告)日:2013-02-13

    申请号:CN200910077994.6

    申请日:2009-02-06

    Abstract: 本发明公开了一种确定数据样本的类别的方法及其系统。本发明方法包括:并行执行多个第一Map任务,其中,每个Map任务获取待分类数据样本集中的部分数据样本,计算该部分数据样本中每个数据样本与训练样本集中的训练样本的相似度,并针对每个数据样本取降序排序的前K个相似度所对应的类别;执行Reduce任务,所述Reduce任务分别对每个数据样本的K个相似度所对应的类别进行汇总,将每个数据样本中占多数的类别确定为该数据样本的类别。采用本发明,可提高数据样本分类处理的效率。

    一种数据挖掘系统中数据聚类的方法、系统及装置

    公开(公告)号:CN102141988A

    公开(公告)日:2011-08-03

    申请号:CN201010102976.1

    申请日:2010-01-28

    Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置,主要包括:A、主控节点将分块数据对象分发给至少两个计算节点;B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价;C、获取每个计算节点的执行结果,并是否存在小于零的替换代价;若是,确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象,替换中心点对象,并返回步骤B;若否,则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案,提高了计算效率,并且应用于海量数据的处理需求。

    一种网络性能检测方法及设备

    公开(公告)号:CN101771578A

    公开(公告)日:2010-07-07

    申请号:CN200810247302.3

    申请日:2008-12-29

    Abstract: 本发明公开了一种网络性能检测方法,包括:将采集到的服务器运行通信业务时的通信事件划分为多个信息集合,并且同一信息集合内的通信事件对应相同的通信业务,其中,每个通信事件对应运行所述通信事件的时间点;确定属于同一信息集合的相邻两个时间点,将所述相邻两个时间点的时间间距作为该相邻两个时间点中,前一个时间点对应的待检测的通信事件的执行时间;比较所述待检测的通信事件的执行时间与设定时间,根据比较结果确定与所述待检测的通信事件相关的服务器性能。通过本发明,可以直观和有效的发现性能可能出现问题的服务器。本发明还公开了一种网络性能检测设备。

    设备、网络状态分析方法及装置

    公开(公告)号:CN101453383A

    公开(公告)日:2009-06-10

    申请号:CN200710178876.5

    申请日:2007-12-06

    Abstract: 本发明涉及一种设备、网络状态分析方法及装置,设备状态分析方法包括:采集设备中各工作单元的实际温度参数;根据各实际温度参数获得温度变化参数,进而获得设备温度参数;由所述设备温度参数获得设备健康状态。进一步地还包括:采集设备中各工作单元的实际使用参数;根据各实际使用参数获得设备使用参数;由所述设备温度参数和设备使用参数获得设备运行状态。本发明通过监控设备/网络中各元素在不同业务负载下的温度情况得到设备/网络的健康状态,进一步地通过监控设备/网络中各元素温度参数和使用参数获得设备/网络的运行状态,可发现各种情况引起的设备/网络状态隐患,实现有效的优化管理。

    一种数据处理方法、设备和系统

    公开(公告)号:CN103902614B

    公开(公告)日:2018-05-04

    申请号:CN201210584674.1

    申请日:2012-12-28

    Abstract: 本发明实施例公开了一种数据处理方法、设备和系统,该方法包括:分片服务器接收主服务器转发的数据查询请求,其中携带有用于指示请求读取的数据所在行的key字段和用于指示请求读取的数据所在列的列表字段;所述分片服务器根据所述key字段和列表字段在自身存储的数据中查询对应的列数据,并将查询到的列数据以数组的形式返回给所述主服务器。在本发明中,降低了分布式列存储数据库系统中数据处理的性能消耗,提高了数据处理效率。

    一种实现不同数据源之间数据处理的方法及装置

    公开(公告)号:CN103916368B

    公开(公告)日:2017-11-21

    申请号:CN201210593327.5

    申请日:2012-12-31

    Abstract: 本发明提供一种实现不同数据源之间数据处理的方法及装置。所述方法包括:解析用户发出的数据处理命令,其中所述数据处理命令中所涉及的数据包括第一数据源和第二数据源中的数据;根据所述数据处理命令进行任务分解,分解后的所述数据处理命令包括对所述第一数据源中的数据操作的第一命令、对所述第二数据源中的数据操作的第二命令以及对所述第一数据源中的数据和所述第二数据源中的数据组合操作的第三命令;向所述第一数据源下发执行所述第一命令,向所述第二数据源下发执行所述第二命令,并根据所述第一命令和所述第二命令的执行结果,执行所述第三命令。本发明所述方法和装置能够实现不同数据源之间的透明访问,提高数据处理的效率。

Patent Agency Ranking