一种网络爬虫调度方法、装置、设备及可读存储介质
摘要:
本发明提供一种网络爬虫调度方法、装置、设备及可读存储介质,涉及网络爬虫技术领域,该网络爬虫调度方法,包括获取目标网站在目标时刻前第一时间段内的历史信息发布数据;基于历史信息发布数据与第一时间段,获取信息发布数据与目标时间段之间的对应关系,第一时间段包括多个目标时间段;基于对应关系预测目标网站在目标时刻后第二时间段内的预测信息发布数据;基于目标时间段和预测信息发布数据确定调度频率;基于调度频率执行网络爬虫调度。可以解决现有的网络爬虫调度方法无法在节省硬件资源的同时提升网络爬取的时效性的问题。
0/0