-
公开(公告)号:CN101753608B
公开(公告)日:2013-06-05
申请号:CN200810239118.4
申请日:2008-12-09
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种分布式系统的调度方法及系统,其中,该方法包括:数据调度器接收调度请求,该调度请求包括对数据的读取操作;数据保存在分布式系统中的至少一个提供数据服务的实体上;数据调度器确定该调度请求对应的各数据服务的状态,并在各数据服务为空闲或读取状态时,发送同意对各数据服务进行读取操作的调度响应;各数据服务为至少一个相同的数据服务。本发明可有效解决现有技术的分布式调度方式中资源浪费、任务处理效率低等缺陷,实现资源合理利用、提高任务处理效率。
-
公开(公告)号:CN102955810A
公开(公告)日:2013-03-06
申请号:CN201110249270.2
申请日:2011-08-26
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种网页分类方法和设备,该方法利用现有URL类别库中的记录,建立虚拟的层级URL,并对层级URL的类别进行预测。当需要对待分类网页进行分类时,根据待分类网页的URL查询URL类别库;如果未查询到匹配的URL,则根据该URL的上层URL查询URL类别库,并在查询到匹配的URL时,根据查询到的URL的预测类别确定待分类网页的类别。在本发明中,提高了网页分类的效率和成功率。
-
公开(公告)号:CN101799748B
公开(公告)日:2013-02-13
申请号:CN200910077994.6
申请日:2009-02-06
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种确定数据样本的类别的方法及其系统。本发明方法包括:并行执行多个第一Map任务,其中,每个Map任务获取待分类数据样本集中的部分数据样本,计算该部分数据样本中每个数据样本与训练样本集中的训练样本的相似度,并针对每个数据样本取降序排序的前K个相似度所对应的类别;执行Reduce任务,所述Reduce任务分别对每个数据样本的K个相似度所对应的类别进行汇总,将每个数据样本中占多数的类别确定为该数据样本的类别。采用本发明,可提高数据样本分类处理的效率。
-
公开(公告)号:CN102571321A
公开(公告)日:2012-07-11
申请号:CN201010623542.6
申请日:2010-12-30
Applicant: 中国移动通信集团公司
Abstract: 本发明实施例公开了一种数据加密传输的方法和设备,通过应用本发明实施例所提出的技术方案,在发送端设备和接收端设备上同时设置对称密钥对缓存池,并利用其中的对称密钥信息组进行对称密钥的传输,在发送端设备和接收端设备上的对称密钥对缓存池中保存有相同的对称密钥信息组时,可以节省掉对对称密钥进行分对称解密的时间,提高数据传输的效率。
-
公开(公告)号:CN101989281B
公开(公告)日:2012-06-27
申请号:CN200910089176.8
申请日:2009-08-03
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种聚类方法,用以解决现有技术提供的检索结果聚类方法难以生成可读性较好的聚类标签的缺陷,该方法包括:根据预设的选取策略,从待聚类的各个文档中选取第一候选字串集合;针对第一候选字串集合中的各字串,根据与该字串相关的参数,从第一候选字串集合中选取第二候选字串,所述与该字串相关的参数为该字串出现在待聚类的所有文档中的总次数、该字串出现在指定文档中的总次数、该字串包含的字符个数以及待聚类的文档中包含该各字串的文档个数中的至少一个参数;将第二候选字串确定为对所述待聚类的各个文档进行聚类的聚类标签,并将待聚类的各个文档分别归类到与所述聚类标签对应的簇中。本发明还公开了一种聚类装置。
-
公开(公告)号:CN102255926A
公开(公告)日:2011-11-23
申请号:CN201010178143.3
申请日:2010-05-17
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种MapReduce系统中任务分配的方法、系统及装置,用以解决现有技术中客户端可能出现由于内存溢出而宕机的故障,从而影响MR系统可靠性的问题。该方法在原有MR系统中增加对各个客户端进行管理的客户端管理节点,客户端管理节点根据各客户端的资源利用信息,确定进行数据分片处理的客户端,并指示该确定的客户端进行对待处理的数据进行数据分片处理。由于在本发明实施例中客户端管理节点根据各客户端的资源利用信息,确定进行数据分片处理的客户端,从而可以减小资源利用信息不满足条件的客户端进行业务处理的风险,并减小该客户端出现宕机的可能性,进而提高了MR系统的可靠性。
-
公开(公告)号:CN102141988A
公开(公告)日:2011-08-03
申请号:CN201010102976.1
申请日:2010-01-28
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据挖掘系统中数据聚类的方法、系统及装置,主要包括:A、主控节点将分块数据对象分发给至少两个计算节点;B、以串行方式或并行方式控制每个计算节点计算利用保存的数据对象中的非中心点对象分别替换设定个中心点对象后对应的替换代价;C、获取每个计算节点的执行结果,并是否存在小于零的替换代价;若是,确定替换同一中心点对象的多个非中心点对象中最小替换代价的非中心点对象,替换中心点对象,并返回步骤B;若否,则将当前各中心点对象及对应簇确定为最终聚类结果。根据该技术方案,提高了计算效率,并且应用于海量数据的处理需求。
-
公开(公告)号:CN102129435A
公开(公告)日:2011-07-20
申请号:CN201010034154.4
申请日:2010-01-13
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明提供了一种数据存储业务控制方法及系统,其中,该方法包括:在数据存储业务启动时,磁盘将日志索引文件加载至内存,日志索引文件包括多个用于表征日志文件属性的日志索引;内存在根据日志索引文件判定磁盘配额未满时,将接收的数据添加至日志文件中,并修改或新增对应于添加数据的日志文件的日志索引;内存将修改或新增的日志索引同步至磁盘。本发明通过建立日志索引文件并将该日志索引文件加载至内存使得内存根据该日志索引文件即可判断磁盘的使用状况进而进行数据操作,避免了现有技术中对象索引文件加载速度慢而影响系统启动速度的缺陷。
-
公开(公告)号:CN101989281A
公开(公告)日:2011-03-23
申请号:CN200910089176.8
申请日:2009-08-03
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种聚类方法,用以解决现有技术提供的检索结果聚类方法难以生成可读性较好的聚类标签的缺陷,该方法包括:根据预设的选取策略,从待聚类的各个文档中选取第一候选字串集合;针对第一候选字串集合中的各字串,根据与该字串相关的参数,从第一候选字串集合中选取第二候选字串,所述与该字串相关的参数为该字串出现在待聚类的所有文档中的总次数、该字串出现在指定文档中的总次数、该字串包含的字符个数以及待聚类的文档中包含该各字串的文档个数中的至少一个参数;将第二候选字串确定为对所述待聚类的各个文档进行聚类的聚类标签,并将待聚类的各个文档分别归类到与所述聚类标签对应的簇中。本发明还公开了一种聚类装置。
-
公开(公告)号:CN101771578A
公开(公告)日:2010-07-07
申请号:CN200810247302.3
申请日:2008-12-29
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种网络性能检测方法,包括:将采集到的服务器运行通信业务时的通信事件划分为多个信息集合,并且同一信息集合内的通信事件对应相同的通信业务,其中,每个通信事件对应运行所述通信事件的时间点;确定属于同一信息集合的相邻两个时间点,将所述相邻两个时间点的时间间距作为该相邻两个时间点中,前一个时间点对应的待检测的通信事件的执行时间;比较所述待检测的通信事件的执行时间与设定时间,根据比较结果确定与所述待检测的通信事件相关的服务器性能。通过本发明,可以直观和有效的发现性能可能出现问题的服务器。本发明还公开了一种网络性能检测设备。
-
-
-
-
-
-
-
-
-