公开(公告)号：CN102073730B

公开(公告)日：2012-09-26

申请号：CN201110007710.3

申请日：2011-01-14

申请人： 哈尔滨工程大学

发明人： 宁慧 ,  吴昊 ,  谈亚洲 ,  吴悦 ,  吕志龙

IPC分类号： G06F17/30

摘要： 本发明提供的是一种主题网络爬虫系统的构建方法。(1)定义主题初始描述向量，设定相关度初始阀值、初始化URL队列；(2)从初始URL队列中依次获取URL进行爬取；(3)对URL进行文本分析；(4)对URL进行链接分析；(5)计算URL与主题的相关度；(6)将相关度大于相关度阈值的URL加入有序的URL队列，URL依照与主题向量的相关度高低排序，依次爬取，直至队列为空，对于每个爬到的网页，提取其中的子URL，返回到步骤(3)；(7)使用遗传算法进行遗传算法最优化；(8)Rocchio反馈模块对主题向量更新，并动态调整相关度阈值，继续爬取网页。本发明不需要事先准备大量的训练文本，速度快，适合处理海量的在线网页数据。

公开(公告)号：CN102073730A

公开(公告)日：2011-05-25

申请号：CN201110007710.3

申请日：2011-01-14

申请人： 哈尔滨工程大学

发明人： 宁慧 ,  吴昊 ,  谈亚洲 ,  吴悦 ,  吕志龙

IPC分类号： G06F17/30

摘要： 本发明提供的是一种主题网络爬虫系统的构建方法。(1)定义主题初始描述向量，设定相关度初始阀值、初始化URL队列；(2)从初始URL队列中依次获取URL进行爬取；(3)对URL进行文本分析；(4)对URL进行链接分析；(5)计算URL与主题的相关度；(6)将相关度大于相关度阈值的URL加入有序的URL队列，URL依照与主题向量的相关度高低排序，依次爬取，直至队列为空，对于每个爬到的网页，提取其中的子URL，返回到步骤(3)；(7)使用遗传算法进行遗传算法最优化；(8)Rocchio反馈模块对主题向量更新，并动态调整相关度阈值，继续爬取网页。本发明不需要事先准备大量的训练文本，速度快，适合处理海量的在线网页数据。