一种基于大数据产品开发筛选的数据智能抓取方法及系统

    公开(公告)号:CN118820566A

    公开(公告)日:2024-10-22

    申请号:CN202410763989.5

    申请日:2024-06-13

    IPC分类号: G06F16/951 G06F16/955

    摘要: 本发明涉及数据抓取技术领域,并具体公开了一种基于大数据产品开发筛选的数据智能抓取方法及系统,包括:基于所有抓取网站主页面的URL获得待爬取队列,基于每个有效队列元素获得每个有效队列元素的所有子URL和每个有效队列元素的可见内容及需求符合度,并基于每个有效队列元素的所有子URL获得每个有效队列元素的每个有效子URL的可见内容及需求符合度;基于所有有效队列元素的需求符合度和所有有效队列元素的所有有效子URL的需求符合度获得每个有效队列元素的抓取评估值和数据智能抓取结果。本发明实现了在抓取过程中从抓取内容和抓取效率两个方面对抓取内容的抓取效果进行综合量化,保证了在有限的资源下,优先抓取内容质量高、抓取效率快的网页。

    一种网线对线装置
    2.
    实用新型

    公开(公告)号:CN209088979U

    公开(公告)日:2019-07-09

    申请号:CN201821860193.8

    申请日:2018-11-13

    IPC分类号: H04L12/26

    摘要: 本实用新型一种网线对线装置,属于网线对线装置技术领域;所要解决的技术问题为:提供一种网线对线装置;解决该技术问题采用的技术方案为:包括:对线信号发射器和对线信号接收器,所述对线信号发射器的测试信号输出接口与待测网线的一端相连,所述对线信号接收器的测试信号输入接口与待测网线的另一端相连;所述对线信号发射器具体为箱体结构,所述对线信号发射器的侧壁上设置有多个测试信号输出接口,每个测试信号输出接口均关联有相应的夹线开关和测试指示灯,所述夹线开关设置在测试信号输出接口的一侧,所述待测网线的端头插入测试信号输出接口后由夹线开关夹持固定;本实用新型应用于网线对线场所。