一种时空高效的并行近似成员查询方法及系统

    公开(公告)号:CN117891858B

    公开(公告)日:2024-07-05

    申请号:CN202410293870.6

    申请日:2024-03-14

    申请人: 苏州大学

    摘要: 本发明涉及一种时空高效的并行近似成员查询方法及系统,涉及计算机技术领域,其包括获取待操作的数据集合;将数据集合中的数据元素分为多个不相交的子数据集合,每个子数据集合分别对应一个流水线阶段;每个流水线阶段依次不断地处理等待操作的数据元素;当每个流水线阶段对数据元素的操作完成,判断是否返回操作结果;若数据元素在当前流水线阶段操作失败则进入下一个流水线阶段进行操作。本发明设计了能够避免内存访问冲突的流水线并行的近似成员查询方法,旨在利用多核CPU或可编程硬件提供的并行功能,突破现有的性能瓶颈实现更加时空高效的近似成员查询数据结构,同时解决了布谷鸟过滤器长度必须为2的幂的限制。

    一种基于Sketch的网络流大小测量方法

    公开(公告)号:CN117811951A

    公开(公告)日:2024-04-02

    申请号:CN202410225108.4

    申请日:2024-02-29

    申请人: 苏州大学

    摘要: 本发明涉及网络流量测量技术领域,公开了一种基于Sketch的网络流大小测量方法,包括在中心路由器上部署并初始化Sketch为由多组一维数组堆叠成的二维数组;预设每组一维数组对应计数器的位数与预采样概率函数参数,计算每组一维数组中计数器个数;将当前测量周期中目的地址相同的数据包划分为有相同流标签的网络流;对当前测量周期内所有到达中心路由器的数据包进行编码,获取当前测量周期编码Sketch;服务器利用哈希映射获取流标签在编码Sketch二维数组中每组一维数组内的索引位置,及对应计数器的计数值,译码出流量估计值,选取最小的流量估计值为流量值。本发明均衡了网络流大小测量的空间利用率,准确率和吞吐量。

    一种分布式流基数测量方法、装置及计算机可读存储介质

    公开(公告)号:CN117792962A

    公开(公告)日:2024-03-29

    申请号:CN202410218044.5

    申请日:2024-02-28

    申请人: 苏州大学

    摘要: 本发明涉及一种分布式流基数测量方法、装置及计算机可读存储介质,属于网络测量技术领域。包括:将每个交换机的可用空间划分为多个估计器,得到每个交换机的估计器数组;获取流#imgabs0#流经的#imgabs1#个交换机,并计算每个交换机为流#imgabs2#提供的估计器数量,将#imgabs3#个交换机提供的估计器进行拼接,构建流#imgabs4#的虚拟估计器数组;当有属于流#imgabs5#的数据包到达时,计算数据包的rank值并将rank值哈希至流#imgabs6#的虚拟估计器数组中,对流#imgabs7#的虚拟估计器数组进行更新;当前测量周期结束后,基于流#imgabs8#的虚拟估计器数组中估计器的值计算流#imgabs9#的基数。利用多个交换机共同构建逻辑Sketch结构,减少了交换机的空间开销,提高了流基数测量结果的准确性。

    一种可动态调整大小的近似成员查询方法及系统

    公开(公告)号:CN117932128B

    公开(公告)日:2024-07-09

    申请号:CN202410324984.2

    申请日:2024-03-21

    申请人: 苏州大学

    IPC分类号: G06F16/9035 G06F16/901

    摘要: 本发明涉及计算机技术领域,具体涉及一种可动态调整大小的近似成员查询方法及系统,方法包括获取待操作数据;所述待操作数据的操作包括插入操作、查询操作、删除操作和段级别扩展操作;对近似成员查询数据结构进行初始化;将所述待操作数据输入至初始化完成的近似成员查询数据结构,并对所述待操作数据进行目标操作。本发明所述的一种可动态调整大小的近似成员查询方法及系统,其设计了一种可以动态调整大小的近似成员查询方法,该方法使用段级别扩展的动态过滤器,能够动态调整大小以适应不同数量大小的集合,同时还能确保在调整时其他对数据结构进行的操作不被影响。

    基于优先级的数据流基数在线测量方法和系统

    公开(公告)号:CN117896323A

    公开(公告)日:2024-04-16

    申请号:CN202410295086.9

    申请日:2024-03-15

    申请人: 苏州大学

    摘要: 本发明涉及高速数据流基数测量技术领域,公开一种基于优先级的数据流基数在线测量方法和系统,包括:在测量周期内构建优先级过滤结构,优先级过滤结构根据当前流元素的标签和优先级进行更新;当优先级过滤结构发生更新时,根据当前流元素的标签和优先级计算后采样函数值,当计算得到的后采样函数值小于当前流元素的后采样频率时,结合更新后的优先级过滤结构构建并更新优先级哈希表、更新后采样频率;获取任意流标签,使用包含任意流标签的优先级哈希表和对应的采样频率计算任意流的基数估计值。本发明可以为不同优先级流提供不同精度的基数估计,提高高优先级流基数估计精度。