发明公开
- 专利标题: 分布式网络爬虫任务的调度方法及装置
- 专利标题(英): Distributed network crawler task scheduling method and apparatus
-
申请号: CN201611169993.0申请日: 2016-12-16
-
公开(公告)号: CN108205541A公开(公告)日: 2018-06-26
- 发明人: 张学颖 , 张丹 , 于晓明 , 曹六一
- 申请人: 北大方正集团有限公司 , 北京北大方正电子有限公司
- 申请人地址: 北京市海淀区成府路298号中关村方正大厦9层;
- 专利权人: 北大方正集团有限公司,北京北大方正电子有限公司
- 当前专利权人: 北大方正集团有限公司,北京北大方正电子有限公司
- 当前专利权人地址: 北京市海淀区成府路298号中关村方正大厦9层;
- 代理机构: 北京同立钧成知识产权代理有限公司
- 代理商 杨贝贝; 刘芳
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明提供一种分布式网络爬虫任务的调度方法及装置,方法包括:获取分布式网络中每个爬虫节点的处理能力;按照预设的优先级顺序并根据每个爬虫节点的处理能力为每个爬虫节点分配相应的待处理任务,以使得爬虫节点对所分配的待处理任务进行处理。本发明提供的分布式网络爬虫任务的调度方法及装置,按照预设的优先级顺序并根据每个爬虫节点的处理能力为爬虫节点分配相应数量的待处理任务,实现了对爬虫节点的有效管理,并且保证了每个爬虫节点按照自身处理能力对所分配的待处理任务进行处理的效率,进而提高了该调度方法的实用性。
公开/授权文献
- CN108205541B 分布式网络爬虫任务的调度方法及装置 公开/授权日:2020-12-04