发明授权
- 专利标题: 一种面向网络的多通道大数据采集系统及方法
-
申请号: CN201710142262.5申请日: 2017-03-10
-
公开(公告)号: CN106844782B公开(公告)日: 2020-03-20
- 发明人: 朱世伟 , 杨子江 , 于俊凤 , 李源 , 冯海洲 , 魏墨济 , 王燕 , 李思思 , 张铭君 , 王彦
- 申请人: 山东省科学院情报研究所
- 申请人地址: 山东省济南市历下区科院路19号
- 专利权人: 山东省科学院情报研究所
- 当前专利权人: 南方电网互联网服务有限公司
- 当前专利权人地址: 510699 广东省广州市越秀区东风东路757号大院办公综合楼606-609房
- 代理机构: 济南圣达知识产权代理有限公司
- 代理商 黄海丽
- 主分类号: G06F16/28
- IPC分类号: G06F16/28
摘要:
本发明公开了面向网络的多通道大数据采集系统及方法,其中,面向网络的多通道大数据采集系统由论坛数据采集单元、博客数据采集单元、新闻数据采集单元及关系型数据库中数据采集单元构成的分布式定向采集体系架构组成;论坛数据采集单元,用于分别通过动态网页采集方法和网页信息抽取方法对在线论坛及离线论坛内的网络数据进行采集;博客数据采集单元,用于负责广度遍历博客站点,目的是获取博客Feed地址;对每个Feed地址对应的博客进行实时采集,跟踪更新的博客文章,以增量更新方式采集博客信息;新闻数据采集单元,用于采用基于行块分布函数的方法抽取新闻网页中的正文文本;关系型数据库中数据采集单元,用于采用数据转移工具来批量采集关系型数据库中数据。
公开/授权文献
- CN106844782A 一种面向网络的多通道大数据采集系统及方法 公开/授权日:2017-06-13