一种基于多重布隆过滤的URL去重方法及系统

    公开(公告)号:CN113051498A

    公开(公告)日:2021-06-29

    申请号:CN202110303053.0

    申请日:2021-03-22

    发明人: 席泽生 张波

    IPC分类号: G06F16/955 G06F16/951

    摘要: 本发明公开了一种基于多重布隆过滤的URL去重方法及系统,方法包括:获取待去重URL目标信息;当待去重URL目标信息不存在于预设URL信息库时,利用包含k个Hash函数的第一布隆过滤器分析待去重URL目标信息,计算k个Hash函数对应的Hash值,并对k个Hash值求和;第二布隆过滤器分析k个Hash值之和,对k个Hash值求和;将第二布隆过滤器求取的k个Hash值之和循环输入第二布隆过滤器,利用第二布隆过滤器将k个Hash值之和映射到二进制位数组中,当检查二进制位数组对应的索引位置的值均为1且误判率小于预设阈值时,去除待去重URL目标信息,从而提高工作效率,降低损耗时间及误判率。