-
公开(公告)号：CN102546730A
公开(公告)日：2012-07-04
申请号：CN201010623339.9
申请日：2010-12-30
Applicant: 中国移动通信集团公司
Inventor： 高丹 , 徐萌 , 邓超 , 江志雄 , 罗治国 , 孙少陵 , 陶涛 , 段云峰 , 何鸿凌 , 谢帆 , 赵静 , 张韬 , 吴明 , 励崖卉 , 王之恒 , 邓青 , 周福伟
IPC: H04L29/08
Abstract: 本发明公开了一种数据处理方法、装置及系统。其中数据处理方法包括：云计算平台将获取的数据进行处理，并将处理后的数据发送至数据处理服务器；所述数据处理服务器将所述云计算平台处理后的数据传输到数据仓库中。本发明的数据处理方法、装置及系统，通过云计算平台对数据进行抽取、处理，数据处理服务器将处理后的数据传输到数据仓库中，提高数据处理量，实现了海量数据处理，并且不会对现有架构进行太多改动，保持云平台的相对独立性，易于改造。云计算平台成本低、投资小、利旧率高，可以缓解系统扩容压力，降低系统成本。
-
公开(公告)号：CN102541924A
公开(公告)日：2012-07-04
申请号：CN201010614750.X
申请日：2010-12-21
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种检索信息的缓存方法和搜索引擎系统，通过应用本发明实施例所提出的技术方案，可以对检索信息进行分级的缓存，除了缓存最终的检索请求对应的结果页面外，还缓存一些占用空间比较小的中间检索结果信息，从而，使缓存的检索提问总量得到了大幅提高，加快检索速度，改善了用户体验。
-
公开(公告)号：CN102193917A
公开(公告)日：2011-09-21
申请号：CN201010115869.2
申请日：2010-03-01
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明的实施例公开了一种数据处理和查询的方法和装置，该处理方法包括：为数据建立第一级索引，所述数据存储在至少一个文件中，所述第一级索引用于索引各文件，所述文件中存储有相应的数据；在各文件中分别建立第二级索引，所述第二级索引用于在相应文件中索引相应的数据。该查询方法包括：根据接收到的数据查询请求、利用第一级索引在各个文件中查找，得到查询到的文件，该文件存储有该查询请求所查询的数据；根据所述数据查询请求、利用第二级索引在所查询到的文件中查找，得到该查询请求所查询的数据。通过本发明，提高了大量数据的查询速度。
-
公开(公告)号：CN102117305A
公开(公告)日：2011-07-06
申请号：CN201010000163.1
申请日：2010-01-06
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了查询数据的系统、方法和数据管理系统。所述查询数据的系统包括：存储媒介，存储有多个数据、以及为所述多个数据创建并与之绑定的次索引；索引元数据管理模块，用于管理从存储于数据库的基表数据中获取索引元数据，其中，所述索引元数据用于根据预定规则创建所述多个数据；以及索引数据管理模块，用于根据从用户端接收的操作指令，通过绑定的所述次索引在所述存储媒介中查询到要操作的数据。
-
公开(公告)号：CN102096676A
公开(公告)日：2011-06-15
申请号：CN200910242321.1
申请日：2009-12-11
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明提供了一种数据更新及查询控制方法及系统，其中，该方法包括：内存区将接收的更新数据归并到两个硬盘区中的任意一个，以及在归并完成后清空自身存储的更新数据；在接收到查询请求时，将两个硬盘区中未执行归并操作的硬盘区的数据以及内存区中至少一个内存区的数据返回数据查询方。本发明通过利用两个硬盘区分别执行更新数据的归并及查询实现将查询及更新操作分流，避免了现有技术中需要设置锁策略而导致的实时性及系统复杂性问题。
-
Patent Agency Ranking
公开(公告)号：CN102081619A
公开(公告)日：2011-06-01
申请号：CN200910238549.3
申请日：2009-11-26
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种数据更新方法、分发节点及海量存储集群系统。其中分发节点包括：命令控制模块，用于通过一个更新线程接接收管理装置发送的更新命令；下发模块，用于通过多个读取线程从所述命令控制模块读取所述更新命令，并根据所述更新命令将数据分别下发到相应的数据节点。本发明的数据更新方法、分发节点及海量存储集群系统，仅通过一个更新线程接收更新命令，避免了现有技术中多线程同时更新的锁问题，提高了系统整体处理效率；同时设置多个读取线程读取更新命令，同时对多个更新命令进行数据下发，提高了数据下发的效率。
-
公开(公告)号：CN101996198A
公开(公告)日：2011-03-30
申请号：CN200910091866.7
申请日：2009-08-31
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种聚类实现方法及系统。由主控节点将候选队列中的候选样本进行分片，由至少两个计算节点并行地根据设定的ε邻域和最小密度分别确定出分配的分片样本中的每一个样本是否为核心样本；由于各计算节点并行处理，加快了样本数据库中各样本所属聚类的标记速度。本发明公开的另一种聚类实现方法及系统，由主控节点对样本数据库中当前未标记样本进行分块，将分块样本分配并下发给至少两个计算节点，由各计算节点并行地对候选队列中的候选样本进行处理，再通过合并节点合并各计算节点的处理结果。由于每个计算节点仅处理部分样本，解决了海量数据无法单机处理的问题，且由于可以由多个计算节点及多个并合节点进行并行处理，大大提高了处理效率。
-
公开(公告)号：CN101996197A
公开(公告)日：2011-03-30
申请号：CN200910091864.8
申请日：2009-08-31
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了聚类实现方法及系统。包括：由主控节点对样本分块，并将分块样本分配给至少两个计算节点，由各计算节点并行参与计算，将本地样本归属到对应聚类中，并对每一个聚类统计本地各样本的样本值的和值传送给合并节点，再由合并节点得到每一个聚类的虚拟聚类中心点信息，并传送给主控节点，由主控节点判断是否进行聚类中心点更新，以及是否启动下一轮聚类计算。本发明通过多个节点参与聚类实现过程，在聚类计算及合并过程中通过采用多个节点并行处理，解决了现有技术对海量数据无法实现聚类处理及处理效率低的问题。
-
公开(公告)号：CN101799809A
公开(公告)日：2010-08-11
申请号：CN200910077661.3
申请日：2009-02-10
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了数据挖掘方法及数据挖掘系统，本发明方法包括：设置数据挖掘的工作流，所述工作流中包括多个并行的数据处理任务；启动所述工作流，并在所述多个并行的数据处理任务被触发时，为其中的每个数据处理任务分配执行节点，以使所述多个并行的数据处理任务在分配的执行节点上并行执行；以及，所述执行节点在执行每个数据处理任务时，通过Map/Reduce机制将数据处理任务分配给并行执行的Map任务进行处理，将该数据处理任务对应的各Map任务的处理结果通过相应的Reduce任务进行合并处理得到相应数据处理任务的处理结果。采用本发明，可提高数据挖掘效率。
-
公开(公告)号：CN101770402A
公开(公告)日：2010-07-07
申请号：CN200810247307.6
申请日：2008-12-29
Applicant: 中国移动通信集团公司
IPC: G06F9/50
Abstract: 本发明公开了一种MapReduce系统中的Map任务调度方法，该方法包括：主节点在接收到工作节点的任务请求后，根据任务所处理数据的分布情况确定任务的调度优先级；主节点根据确定出的任务的调度优先级，将任务调度至工作节点。本发明同时公开一种MapReduce系统中执行Map任务调度的主节点、一种MapReduce系统。采用本发明可以提高Map任务本地化执行的概率、减少网络开销。
-
-
-
-
-
-
-
-
-
Search Results
112
records
(took 0.033 seconds)
