公开(公告)号：CN101770402B

公开(公告)日：2012-12-05

申请号：CN200810247307.6

申请日：2008-12-29

Applicant: 中国移动通信集团公司

Inventor： 郭磊涛 ,  罗治国 ,  徐萌

IPC: G06F9/50

Abstract: 本发明公开了一种MapReduce系统中的Map任务调度方法，该方法包括：主节点在接收到工作节点的任务请求后，根据任务所处理数据的分布情况确定任务的调度优先级；主节点根据确定出的任务的调度优先级，将任务调度至工作节点。本发明同时公开一种MapReduce系统中执行Map任务调度的主节点、一种MapReduce系统。采用本发明可以提高Map任务本地化执行的概率、减少网络开销。

公开(公告)号：CN101799810B

公开(公告)日：2012-09-26

申请号：CN200910077996.5

申请日：2009-02-06

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  邓超 ,  徐萌 ,  罗治国 ,  周文辉 ,  何清 ,  曾立 ,  郑诗豪 ,  沈亚飞 ,  陈磊

IPC: G06F17/30

Abstract: 本发明公开了一种关联规则挖掘方法及其系统。本发明方法包括：由频繁K项集生成K+1项集；执行多个并行的处理任务，其中，每个处理任务获取事务数据集中相应部分的数据，并统计K+1项集在该部分数据中的频繁计数值；对所有处理任务的统计结果进行汇总得到K+1项集在所述事务数据集中的频繁计数值，根据K+1项集的频繁计数值生成满足支持度要求的频繁K+1项集，并根据所述频繁K+1项集在判断有满足可信度要求的关联规则时输出该关联规则。采用本发明，可提高关联规则挖掘的处理效率。

公开(公告)号：CN101996102A

公开(公告)日：2011-03-30

申请号：CN200910091865.2

申请日：2009-08-31

Applicant: 中国移动通信集团公司

Inventor： 高丹 ,  徐萌 ,  邓超 ,  罗治国 ,  周文辉 ,  孙少陵 ,  何清 ,  曾立

IPC: G06F9/50 ,  G06F17/30

Abstract: 本发明公开了数据关联规则挖掘实现方法及系统。通过主控节点将数据记录进行分块，将分块数据记录分配并分发给至少两个计算节点。由各计算节点并行查找频繁1-项集；并根据排序后的频繁1-项集，产生子数据项串。由合并节点并行对全部子数据项串进行统计，构建本地FP子树。通过合并FP子树，得到合局FP树，进行数据关联规则挖掘。由于每个计算节点仅处理一部分数据记录，解决了海量数据无法由单机读入内存进行处理的问题；且多个节点并行参与处理，有效提高了处理效率。

公开(公告)号：CN101751415A

公开(公告)日：2010-06-23

申请号：CN200810224708.X

申请日：2008-12-09

Applicant: 中国移动通信集团公司

Inventor： 王旭 ,  徐萌 ,  罗治国

IPC: G06F17/30

Abstract: 本发明公开了一种元数据服务系统、元数据同步方法和写服务器更新方法。本发明提供的元数据服务系统，包括：写服务器和读服务器；所述写服务器用于存储并行文件系统中的元数据，接受读访问；以及接受写访问，修改并行文件系统中的元数据，并将修改后的元数据同步更新到读服务器；读服务器，用于存储元数据，接受读访问；以及接受写服务器对元数据的同步更新；还用于当监测到所述写服务器失效时，转换为写服务。本发明通过读服务器和写服务器彼此互为备份，解决单点失效问题，并可满足高效率的大量并发访问需求。

公开(公告)号：CN101470733A

公开(公告)日：2009-07-01

申请号：CN200710304715.6

申请日：2007-12-27

Applicant: 中国移动通信集团公司

Inventor： 罗治国 ,  周文辉 ,  周彬 ,  徐萌

IPC: G06F17/30

Abstract: 本发明涉及一种数据块副本数量调整方法及分布式文件系统，其中方法包括：对数据块节点中保存的数据块副本的性能参数进行统计并得到统计结果；元数据服务器节点将所述统计结果进行求和汇总，得到针对一个数据块的数据块副本的实际性能参数；根据所述实际性能参数与预设的参考性能参数运算得到副本调整数；根据所述副本调整数对所述数据块副本的副本数量进行调整。系统包括：元数据服务器节点和数据块节点。通过本发明，根据各个数据块副本的性能参数对副本数量进行了相应地自适应调整，在保证数据块副本的可用性及可靠性的同时，提高了系统资源利用的合理性和利用效率。