一种界标窗口下域名数据重复检测快速索引方法

    公开(公告)号:CN104794158B

    公开(公告)日:2018-11-13

    申请号:CN201510117236.8

    申请日:2015-03-17

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口,通过稳定性布隆过滤器和字典树维护各子窗口的数据项;针对网络数据流自适应地调整索引策略,在数据较为密集时采用稳定性布隆过滤器,在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面,本发明提出将域名数据翻转,形成重叠前缀字符串比率较高的数据集,有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间,提升元素重复检测的效率,并能够扩展到分布式场景下,有效解决网络监控应用中域名数据重复检测的问题,同时,本发明可以扩展到分布式计算场景下,便于计算性能线性提升。

    一种海量非结构化数据的数据存储方法

    公开(公告)号:CN104731864B

    公开(公告)日:2018-05-29

    申请号:CN201510088785.7

    申请日:2015-02-26

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种海量非结构化数据的数据存储方法。本方法为:1)设定一时间间隔T,将数据存储集群划分为多个分区,用于将同一时间间隔T内的记录存储到同一分区内;同时将每一分区划分为n个散列区;2)对于每条非结构化记录,提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key;3)根据每条记录的时间t,确定其要存储到的分区,然后根据该记录的关键信息key计算其在该分区中对应的散列区值;4)根据步骤3)的计算结果,将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数,如果记录数大于设定阈值K,则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。

    一种基于traceroute的运营商核心节点识别方法

    公开(公告)号:CN104053176B

    公开(公告)日:2017-10-17

    申请号:CN201410295657.5

    申请日:2014-06-26

    IPC分类号: H04W24/04

    摘要: 本发明提供一种基于traceroute的运营商核心节点识别方法,该方法包括如下步骤:获取所有网络路径中的IP,并查询IP信息;根据IP信息,判断并提取跳变点处的IP;用上一步得到的跳变点IP逐个遍历所有网络路径,提取每个IP作为跳变点出现的路径信息;获取属于每个跳变点IP满足判断条件的省份列表;计算所述省份的个数;识别核心节点节点。通过本发明的方法,首先大幅度缩小IP的查询范围,而后在缩小后的IP范围中全面考虑现有的衡量网络节点重要性的指标,同时根据运营商网络特点做针对性的调整。所有得到的这些核心节点IP,对于实际在运营商网络中解决排错、检错问题是一个实质性的进展。

    一种分段计算网络延迟的测量方法

    公开(公告)号:CN106656643A

    公开(公告)日:2017-05-10

    申请号:CN201510717160.2

    申请日:2015-10-29

    IPC分类号: H04L12/26

    CPC分类号: H04L43/0852

    摘要: 本发明提供一种分段计算网络延迟测量方法,所述方法包括如下步骤:(1)部署测量设备和被测量设备;(2)所述测量设备对所述被测量设备进行特定数据包检测;(3)分别针对数据包为ICMP协议和TCP协议进行被动分段延时测量或进行主动分段延时测量。本发明采用分段测量方式,可以进行主动测量也可以进行被动测量。不需要各个终端主机配合,在网络边界上测量内网节点与外网服务之间的网络延迟。

    一种大数据多区间查询条件下的基数估计方法及装置

    公开(公告)号:CN103544258B

    公开(公告)日:2016-11-30

    申请号:CN201310484503.6

    申请日:2013-10-16

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种大数据多区间查询条件下的基数估计方法及装置,包括以下步骤:按照数值属性对大数据预先划分成多个分区;建立树形索引结构,每个分区作为树形索引结构的一个节点;获取待写入树形索引结构的数据源,对支持区间查询条件的数据源进行倒排索引处理;将经过倒排索引处理的数据源写入树形索引结构中的节点内,将数据源的相应部分分别写入数据文件及基数估算器内;根据区间查询条件在树形索引结构中查询满足区间查询条件的节点,得到节点中的基数估算器,对基数估算器进行逻辑处理,得到基数估算值。本发明通过降低数据的计算精度提高基数统计效率,在任意多区间查询条件下,具备较高的查询效率,使用了大数据增量更新技术提高索引数据在线更新效率。

    一种海量结构化日志数据全局索引管理方法及装置

    公开(公告)号:CN103544261B

    公开(公告)日:2016-06-22

    申请号:CN201310484663.0

    申请日:2013-10-16

    IPC分类号: G06F17/30

    摘要: 本发明涉及一种海量结构化日志数据全局索引管理方法,包括以下步骤:在数据存储子系统中在其内部的各个数据节点中建立关于结构化日志数据的局部数据块及索引信息,在全局索引服务器中建立全局索引表;客户端解析用户输入的查询请求,获取目标局部数据块的信息,客户端确认本地是否有全局索引服务器的地址信息,客户端根据包含有目标局部数据块的数据节点的地址信息向数据存储子系统中的相应数据节点发送远程调用请求;数据存储子系统汇总各数据节点的响应数据,将最终查询结果发送给客户端。本发明该方法有效地增加了系统的查询多样性和查询效率,并且提高了系统的可扩展性。

    数据报文的检测方法及网络安全检测设备

    公开(公告)号:CN102523221B

    公开(公告)日:2014-11-19

    申请号:CN201110430380.9

    申请日:2011-12-20

    IPC分类号: H04L29/06 H04L12/741

    摘要: 本发明提供一种数据报文的检测方法及网络安全检测设备。本发明通过网络安全检测设备根据获取的网络设备传输的数据报文,生成包含该网络安全检测设备的入端口信息的检测报文,并发送给分析设备,使得上述分析设备能够根据上述入端口信息定位对应的网络设备,能够解决现有技术中分析设备无法准确定位数据报文所在的网络设备的问题,实现了分析设备能够准确定位数据报文所来自的网络设备,从而提高了网络设备的可管理性和可维护性,提高了网络设备或者网络安全检测设备的管理和维护效率,同时降低了网络设备或者网络安全检测设备的管理和维护成本。