公开(公告)号：CN112528118A

公开(公告)日：2021-03-19

申请号：CN202011491957.2

申请日：2020-12-17

申请人： 国家计算机网络与信息安全管理中心

发明人： 张凯 ,  曹首峰 ,  贺欣 ,  李海灵 ,  王啸 ,  李晓倩 ,  贺龙涛 ,  邬崇晖

IPC分类号： G06F16/951 ,  G06F16/9535 ,  G06F16/22 ,  G06F16/25

摘要： 本申请提供了一种基于多通道代理的数据获取方法、系统及装置，数据获取方法包括以下步骤：获取所需数据中的关键词；根据获取的关键词调用分布式爬虫框架；所述分布式爬虫框架中设置有多个爬虫节点；改变所述爬虫节点的IP；接收不同IP的爬虫节点爬取的网页数据；对接收到的网页数据进行数据抽取、转换、装载处理，得到有效数据；对有效数据进行存储。本申请通过分布式爬虫框架中的多个爬虫节点形成多通道代理，通过在每次爬取信息前改变分布式爬虫框架中爬虫节点的IP，能够绕过数据提供网站的反爬虫检测手段，用爬虫节点达到多通道代理、发现情报以及清洗、转换等操作，保证数据的精准可靠。