用于识别网络拓扑的方法、装置、系统和计算机可读介质

    公开(公告)号:CN108737137A

    公开(公告)日:2018-11-02

    申请号:CN201710253819.2

    申请日:2017-04-18

    Abstract: 本发明提供了一种用于识别网络拓扑的方法、装置、系统和计算机可读介质,所述方法包括:采用统一描述语言描述网络拓扑,以产生网络拓扑描述信息,所述统一描述语言为预定的统一采用的描述语言;以及基于与所述统一描述语言相对应的翻译器对所述网络拓扑描述信息进行翻译,以产生用于识别所述网络拓扑的识别描述信息。根据本发明实施例的用于识别网络拓扑的方法、装置、系统和计算机可读介质通过采用统一的描述语言对网络拓扑进行描述,并经由相应翻译器的翻译产生网络拓扑的识别描述信息,使得网络拓扑被标准化,可由任何应用系统识别,从而能够支持不同系统中的数据交换,实现各系统间的能力整合。

    基于多通道代理的数据获取方法、系统及装置

    公开(公告)号:CN112528118A

    公开(公告)日:2021-03-19

    申请号:CN202011491957.2

    申请日:2020-12-17

    Abstract: 本申请提供了一种基于多通道代理的数据获取方法、系统及装置,数据获取方法包括以下步骤:获取所需数据中的关键词;根据获取的关键词调用分布式爬虫框架;所述分布式爬虫框架中设置有多个爬虫节点;改变所述爬虫节点的IP;接收不同IP的爬虫节点爬取的网页数据;对接收到的网页数据进行数据抽取、转换、装载处理,得到有效数据;对有效数据进行存储。本申请通过分布式爬虫框架中的多个爬虫节点形成多通道代理,通过在每次爬取信息前改变分布式爬虫框架中爬虫节点的IP,能够绕过数据提供网站的反爬虫检测手段,用爬虫节点达到多通道代理、发现情报以及清洗、转换等操作,保证数据的精准可靠。

Patent Agency Ranking