基于锚文本的聚焦网络爬虫搜索方法及其系统

    公开(公告)号:CN102298622B

    公开(公告)日:2013-01-02

    申请号:CN201110230220.X

    申请日:2011-08-11

    Abstract: 本发明公开了一种基于锚文本的聚焦网络爬虫搜索方法及其系统,所述方法主要包括:从URL优先级队列中获取URL,并依据URL从Internet下载得到Web页面;对下载的Web页面进行解析,提取URL及其锚文本;对提取出的URL及其锚文本进行筛选;采用TF-IDF与LSI相结合的算法来计算URL的主题相关度,并将符合条件的URL放入优先级队列中;所述系统包括:URL优先级队列、网络爬虫下载器、Web页面库、URL解析器、URL筛选器以及主题相关性判断器。通过采用所述基于锚文本的聚焦网络爬虫搜索方法及其系统,本发明提高了聚焦网络爬虫爬行结果的主题相关度及爬行效率。

    基于锚文本的聚焦网络爬虫搜索方法及其系统

    公开(公告)号:CN102298622A

    公开(公告)日:2011-12-28

    申请号:CN201110230220.X

    申请日:2011-08-11

    Abstract: 本发明公开了一种基于锚文本的聚焦网络爬虫搜索方法及其系统,所述方法主要包括:从URL优先级队列中获取URL,并依据URL从Internet下载得到Web页面;对下载的Web页面进行解析,提取URL及其锚文本;对提取出的URL及其锚文本进行筛选;采用TF-IDF与LSI相结合的算法来计算URL的主题相关度,并将符合条件的URL放入优先级队列中;所述系统包括:URL优先级队列、网络爬虫下载器、Web页面库、URL解析器、URL筛选器以及主题相关性判断器。通过采用所述基于锚文本的聚焦网络爬虫搜索方法及其系统,本发明提高了聚焦网络爬虫爬行结果的主题相关度及爬行效率。

Patent Agency Ranking