-
公开(公告)号:CN102054000B
公开(公告)日:2012-07-25
申请号:CN200910236742.3
申请日:2009-10-28
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开一种数据查询方法、装置及系统,用以满足用户在对数据进行查询时对数据范围和查询频率的需求。该方法包括步骤:数据查询服务器获得用户提供的数据查询条件,并根据所述数据查询条件,确定对应的数据信息;根据所述确定的数据信息、按照预设的采样规则预先从数据管理系统的各区服务器管理的数据中采样得到的采样数据,确定数据查询策略,其中,所述预设的采样规则为按照对所述管理的数据进行采样的时间点与生成所述管理的数据的时间点的时间差由大至小的顺序,对应采用由小至大的预设采样率,对所述各区服务器管理的数据进行采样;所述数据查询服务器根据所述确定的数据查询策略,查询与所述数据信息相对应的数据。
-
公开(公告)号:CN101739427B
公开(公告)日:2012-07-04
申请号:CN200810226245.0
申请日:2008-11-10
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种爬虫抓取的方法及其装置,用于解决现有爬虫抓取技术时效性差的问题。主要技术方案包括:根据网页在当前搜索结果中的排序或/和网页被用户点击的顺序,确定所述网页的当前权值;根据所述网页的当前权值以及历史权值,确定所述网页的结果权值;当所述结果权值达到设定阈值时,重新抓取所述网页中的信息。通过该技术方案,能够根据网页在当前搜索结果中的排序或/和网页被用户点击的顺序,影响爬虫抓取该网页中信息的周期,对用户关注度高的网页可以缩短爬虫抓取网页信息的周期,从而保证这类网页中的信息具有很好的时效性,提高用户的使用感受。
-
公开(公告)号:CN102375853A
公开(公告)日:2012-03-14
申请号:CN201010261167.5
申请日:2010-08-24
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 公开了一种分布式数据库系统和在分布式数据库系统中建立索引的方法。分布式数据库系统包括:多个分布式存储单元,分区存储有多个数据块文件;索引存储器,存储有所述多个数据块文件的索引;解析器,解析用户发起的查询语句,并选择相应的查询索引;索引查询模块,根据选择的查询索引,搜索所述多个数据块文件的索引以获得至少一个查询数据块集,所述查询数据块集包括索引键值、和记录了所述多个数据块文件中与所述索引键值对应的数据块文件的位置信息;以及并行处理引擎,将所述至少一个查询数据块集拆分并发起并行扫描任务。
-
公开(公告)号:CN101996102A
公开(公告)日:2011-03-30
申请号:CN200910091865.2
申请日:2009-08-31
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了数据关联规则挖掘实现方法及系统。通过主控节点将数据记录进行分块,将分块数据记录分配并分发给至少两个计算节点。由各计算节点并行查找频繁1-项集;并根据排序后的频繁1-项集,产生子数据项串。由合并节点并行对全部子数据项串进行统计,构建本地FP子树。通过合并FP子树,得到合局FP树,进行数据关联规则挖掘。由于每个计算节点仅处理一部分数据记录,解决了海量数据无法由单机读入内存进行处理的问题;且多个节点并行参与处理,有效提高了处理效率。
-
公开(公告)号:CN101751415A
公开(公告)日:2010-06-23
申请号:CN200810224708.X
申请日:2008-12-09
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种元数据服务系统、元数据同步方法和写服务器更新方法。本发明提供的元数据服务系统,包括:写服务器和读服务器;所述写服务器用于存储并行文件系统中的元数据,接受读访问;以及接受写访问,修改并行文件系统中的元数据,并将修改后的元数据同步更新到读服务器;读服务器,用于存储元数据,接受读访问;以及接受写服务器对元数据的同步更新;还用于当监测到所述写服务器失效时,转换为写服务。本发明通过读服务器和写服务器彼此互为备份,解决单点失效问题,并可满足高效率的大量并发访问需求。
-
公开(公告)号:CN101470733A
公开(公告)日:2009-07-01
申请号:CN200710304715.6
申请日:2007-12-27
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据块副本数量调整方法及分布式文件系统,其中方法包括:对数据块节点中保存的数据块副本的性能参数进行统计并得到统计结果;元数据服务器节点将所述统计结果进行求和汇总,得到针对一个数据块的数据块副本的实际性能参数;根据所述实际性能参数与预设的参考性能参数运算得到副本调整数;根据所述副本调整数对所述数据块副本的副本数量进行调整。系统包括:元数据服务器节点和数据块节点。通过本发明,根据各个数据块副本的性能参数对副本数量进行了相应地自适应调整,在保证数据块副本的可用性及可靠性的同时,提高了系统资源利用的合理性和利用效率。
-
公开(公告)号:CN105740295B
公开(公告)日:2019-06-14
申请号:CN201410768646.4
申请日:2014-12-12
Applicant: 中国移动通信集团公司 , 中国移动通信集团广东有限公司
Abstract: 本发明提供一种分布式数据的处理方法及装置,该处理方法包括:将原始数据分别写入多个副本分片中,并为不同的副本分片设置标识不同功能的标签;响应不同的操作请求,根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片,其中所述操作请求至少包括分析数据的操作请求和查询数据的操作请求;读取确定的所述副本分片的数据,并对所述数据进行相应的操作。本发明实施例对同一份原始数据利用不同标签的副本分片进行不同业务数据处理,极大的降低了数据存储的冗余度,提高了数据处理的效率;且由于不同的操作请求分别落在不同的副本分片上,对不同的响应时间要求的数据处理的输入/输出可以进行完全的隔离,保证了性能的隔离。
-
公开(公告)号:CN103916421B
公开(公告)日:2017-08-25
申请号:CN201210593020.5
申请日:2012-12-31
Applicant: 中国移动通信集团公司
IPC: H04L29/08
Abstract: 本发明提供一种云存储数据服务装置、云存储数据传输系统、服务器及方法。所述云存储数据服务装置包括数据服务模块,所述数据服务模块用于:接收云存储客户端进行云存储待传输数据的特征值,根据所述特征值进行去重存储;以及接收所述云存储客户端进行云存储访问发送的访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。本发明通过将数据去重应用于云存储数据传输中,可以解决大规模云存储环境的可扩展性问题,提升去重比和传输效率,提升传输服务的可用性,降低对客户端的资源消耗,容忍较差的网络环境。
-
公开(公告)号:CN102571698B
公开(公告)日:2017-03-22
申请号:CN201010594536.2
申请日:2010-12-17
Applicant: 中国移动通信集团公司
IPC: H04L29/06
Abstract: 本发明公开了一种虚拟机访问权限的控制方法、系统及装置,主要技术方案包括:接收第一虚拟机发送的对第二虚拟机的访问请求;根据所述访问请求,确定第一虚拟机以及该第二虚拟机分别对应的安全标识;在比较确定的安全标识一致后,允许该第一虚拟机访问第二虚拟机。根据该技术方案,能够根据虚拟机的安全标识确定是否允许第一虚拟机对第二虚拟机的访问,从而实现了根据虚拟机的安全性要求对虚拟机的安全控制。
-
公开(公告)号:CN105718316A
公开(公告)日:2016-06-29
申请号:CN201410720367.0
申请日:2014-12-01
Applicant: 中国移动通信集团公司 , 中国移动通信集团广东有限公司
IPC: G06F9/50
Abstract: 本发明提供了一种作业调度的方法及装置,包括:获取作业实体携带的作业实体的优先级信息以及作业实体所需的最小资源数量;根据作业实体的优先级信息,将优先级相同的多个作业实体划分入同一作业队列,得到至少一个作业队列;若每一个作业队列中的作业实体被分配的资源数量小于该作业实体所需的最小资源数量时,获取资源队列中可用的资源,并分配给作业实体。本发明的方案,能够解决多种作业实体并发执行的情况下,实现不同作业实体的服务等级协议保障,包括不同优先级作业实体之间和相同优先级作业实体之间的资源分配。实现了资源共享和有序保障之间的平衡,既保障了每个作业实体的服务等级协议,又提高了整个集群资源的利用率。
-
-
-
-
-
-
-
-
-