-
公开(公告)号:CN101996196B
公开(公告)日:2012-09-26
申请号:CN200910091691.X
申请日:2009-08-28
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种动态网页的采集方法及装置,其中,该方法包括:在客户端侧预先设置模拟用户行为功能,客户端侧和提供动态网页信息的服务器建立链接;客户端侧通过预先设置的模拟用户行为功能下载动态网页信息;客户端侧通过设置的模拟用户行为功能对下载的动态网页信息中的表项解析、填写并发送给服务器;客户端侧从该服务器中得到的链接地址采集动态网页。本发明提供的方法及装置能够采集动态网页。
-
公开(公告)号:CN101739429B
公开(公告)日:2012-08-22
申请号:CN200810226637.7
申请日:2008-11-18
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种优化聚类搜索结果的方法及其装置,用以解决现有聚类搜索技术返回的搜索结果不能满足用户的个性化搜索需求的问题。具体技术方案包括:根据当前聚类搜索结果中的聚类类别,从预先保存的用户历史搜索信息中查找与所述聚类类别对应的历史权值;根据所述历史权值的查找结果以及所述聚类类别对应的当前权值,确定所述聚类类别对应的结果权值;根据所述结果权值,确定所述聚类类别返回给用户时的优先级。通过该技术方案返回的聚类搜索结果能够满足用户的个性化搜索需求,提高用户的体验度。
-
公开(公告)号:CN101739427B
公开(公告)日:2012-07-04
申请号:CN200810226245.0
申请日:2008-11-10
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种爬虫抓取的方法及其装置,用于解决现有爬虫抓取技术时效性差的问题。主要技术方案包括:根据网页在当前搜索结果中的排序或/和网页被用户点击的顺序,确定所述网页的当前权值;根据所述网页的当前权值以及历史权值,确定所述网页的结果权值;当所述结果权值达到设定阈值时,重新抓取所述网页中的信息。通过该技术方案,能够根据网页在当前搜索结果中的排序或/和网页被用户点击的顺序,影响爬虫抓取该网页中信息的周期,对用户关注度高的网页可以缩短爬虫抓取网页信息的周期,从而保证这类网页中的信息具有很好的时效性,提高用户的使用感受。
-
公开(公告)号:CN102096602A
公开(公告)日:2011-06-15
申请号:CN200910242485.4
申请日:2009-12-15
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种任务调度方法及其系统和设备,本发明方法应用于设置有主节点和多个工作节点的数据处理系统,其中,主节点用于任务调度,工作节点用于执行任务,该方法包括如下步骤:工作节点向主节点发送获取任务的请求,其中携带该工作节点的可用资源量以及该工作节点上执行的各任务各自的资源使用量;所述主节点根据各工作节点发送的各自节点上执行的各任务各自的资源使用量,确定该主节点上各类任务的资源需求量,并根据确定出的各类任务的资源需求量以及发送所述请求的工作节点的可用资源量,为所述工作节点进行任务调度。采用本发明,可以避免工作节点过载,以及提高工作节点的资源利用率,从而提高数据处理系统,尤其是MapReduce系统的运行效率。
-
公开(公告)号:CN101996196A
公开(公告)日:2011-03-30
申请号:CN200910091691.X
申请日:2009-08-28
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种动态网页的采集方法及装置,其中,该方法包括:在客户端侧预先设置模拟用户行为功能,客户端侧和提供动态网页信息的服务器建立链接;客户端侧通过预先设置的模拟用户行为功能下载动态网页信息;客户端侧通过设置的模拟用户行为功能对下载的动态网页信息中的表项解析、填写并发送给服务器;客户端侧从该服务器中得到的链接地址采集动态网页。本发明提供的方法及装置能够采集动态网页。
-
公开(公告)号:CN102255926B
公开(公告)日:2015-11-25
申请号:CN201010178143.3
申请日:2010-05-17
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种MapReduce系统中任务分配的方法、系统及装置,用以解决现有技术中客户端可能出现由于内存溢出而宕机的故障,从而影响MR系统可靠性的问题。该方法在原有MR系统中增加对各个客户端进行管理的客户端管理节点,客户端管理节点根据各客户端的资源利用信息,确定进行数据分片处理的客户端,并指示该确定的客户端进行对待处理的数据进行数据分片处理。由于在本发明实施例中客户端管理节点根据各客户端的资源利用信息,确定进行数据分片处理的客户端,从而可以减小资源利用信息不满足条件的客户端进行业务处理的风险,并减小该客户端出现宕机的可能性,进而提高了MR系统的可靠性。
-
公开(公告)号:CN102469023B
公开(公告)日:2015-10-07
申请号:CN201010553940.5
申请日:2010-11-19
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种基于云计算的调度方法、单元及系统,其中,该方法包括:采集云计算数据中心的资源动态变化信息;根据各数据中心的资源动态变化信息进行全局调度。本发明能够获取应用系统在不同数据中心的资源动态变化情况,可以确保在云计算动态环境下用户访问网络中应用系统的良好体验,提高网络访问质量,解决现有技术中数据中心都只是被动接受访问请求,不能直接了解数据中心节点中的具体资源信息,可能影响应用访问质量的技术缺陷。
-
公开(公告)号:CN102411584B
公开(公告)日:2014-09-17
申请号:CN201010291290.1
申请日:2010-09-25
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据搜索方法及系统,包括:采集网页数据和专业数据;并根据采集的网页数据和专业数据分别建立网页数据记录库和专业数据记录库,其中,网页数据记录库中包括若干个网页数据记录,专业数据记录库中包括若干个专业数据记录;并分别建立关键字与网页数据记录的第一索引和关键字与专业数据记录的第二索引;并在接收到用户的第一搜索请求后,按照第一搜索请求中携带的检索关键字查询建立的第一索引和第二索引,获得与检索关键字对应的各网页数据记录和各专业数据记录以及将获得的各网页数据记录和各专业数据记录作为第一搜索结果返回给用户。采用本发明实施例提供的方案,能够为用户提供更准确的信息搜索。
-
公开(公告)号:CN102096603B
公开(公告)日:2013-01-02
申请号:CN200910242672.2
申请日:2009-12-14
Applicant: 中国移动通信集团公司
IPC: G06F9/50
Abstract: 本发明公开了一种MapReduce系统中的作业分解控制方法及调度节点设备,用以提升MapReduce系统的可靠性。MapReduce系统中的作业分解控制方法,包括:调度节点监控本节点的资源使用信息;在作业分解执行状态下,当资源使用信息满足设定的作业分解暂停条件时,暂停从作业缓存队列中提取作业进行分解,所述作业缓存队列中缓存客户端提交的未分解的作业;在作业分解暂停状态下,当资源使用信息满足设定的作业分解重启动条件时,重新启动从作业缓存队列中提取作业进行分解。
-
公开(公告)号:CN102541924A
公开(公告)日:2012-07-04
申请号:CN201010614750.X
申请日:2010-12-21
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种检索信息的缓存方法和搜索引擎系统,通过应用本发明实施例所提出的技术方案,可以对检索信息进行分级的缓存,除了缓存最终的检索请求对应的结果页面外,还缓存一些占用空间比较小的中间检索结果信息,从而,使缓存的检索提问总量得到了大幅提高,加快检索速度,改善了用户体验。
-
-
-
-
-
-
-
-
-