用于安全产业链的智能垂直搜索装置和方法
摘要:
本发明公开了一种用于安全产业链的智能垂直搜索装置和方法,用于安全产业链的智能垂直搜索装置包括,爬行器引擎即搜索器引擎;调度;下载器:下载器抓取网页并将网页内容返还给蜘蛛;蜘蛛:蜘蛛是爬行器用户自己定义用来解析网页并抓取制定URL返回的内容的类,每个蜘蛛能处理一个域名或一组域名,即用来定义特定网站的抓取和解析规则;搜素因子库;项目管道;下载器中间件;蜘蛛中间件;调度中间件:调度中间件是介于爬行器引擎和调度之间的中间件,负责处理从爬行器引擎发送到调度的请求和响应,并提供了一个自定义的代码来拓展爬行器的功能。实现可靠、准确、实时且智能搜索的优点。
公开/授权文献
0/0