一种用于流式数据并行处理的内存管理方法

    公开(公告)号:CN105094751B

    公开(公告)日:2018-01-09

    申请号:CN201510427494.6

    申请日:2015-07-20

    IPC分类号: G06F9/38 G06F9/50

    摘要: 本发明提供一种用于流式数据并行处理的内存管理方法,用于流式数据并行处理的流水线构架包括多组建立了一一对应的对等关系的生产者和消费者,具有对等关系的每个生产者和消费者都具有私有的局部缓存池,所述用于流式数据并行处理的内存管理方法包括:1)在进行流式数据并行处理过程中,每个生产者向其私有的局部缓存池申请内存,并且在该生产者的局部缓存池为空时,触发交换操作以获得内存块,所述交换操作是将该生产者的局部缓存池和与其对等的消费者的局部缓存池交换;2)在进行流式数据并行处理过程中,每个消费者向该消费者的局部缓存池释放内存。本发明能够有效地降低内存操作开销,提高内存的利用率。

    一种用于流式数据并行处理的内存管理方法

    公开(公告)号:CN105094751A

    公开(公告)日:2015-11-25

    申请号:CN201510427494.6

    申请日:2015-07-20

    IPC分类号: G06F9/38 G06F12/08

    摘要: 本发明提供一种用于流式数据并行处理的内存管理方法,用于流式数据并行处理的流水线构架包括多组建立了一一对应的对等关系的生产者和消费者,具有对等关系的每个生产者和消费者都具有私有的局部缓存池,所述用于流式数据并行处理的内存管理方法包括:1)在进行流式数据并行处理过程中,每个生产者向其私有的局部缓存池申请内存,并且在该生产者的局部缓存池为空时,触发交换操作以获得内存块,所述交换操作是将该生产者的局部缓存池和与其对等的消费者的局部缓存池交换;2)在进行流式数据并行处理过程中,每个消费者向该消费者的局部缓存池释放内存。本发明能够有效地降低内存操作开销,提高内存的利用率。

    一种用于流式数据并行处理的负载均衡方法

    公开(公告)号:CN105022671A

    公开(公告)日:2015-11-04

    申请号:CN201510427072.9

    申请日:2015-07-20

    IPC分类号: G06F9/48

    摘要: 本发明提供一种用于流式数据并行处理的负载均衡方法,其中用于流式数据并行处理的并行流水线包括N级处理线程,每个处理线程与一个处理器核绑定,其中N为所述并行流水线的级别数目,所述负载均衡方法包括:1)对于任意一个第i级处理线程,该第i级处理线程首先完成本级的数据处理,得到第i级中间数据包;2)根据各个第i+1级处理线程的负载状态,基于负载均衡算法将所述的第i级中间数据包发送到一个第i+1级处理线程的缓冲队列;所述i为1至N-1中的任意一个整数。本发明能够实现流水线构架内部的负载均衡,能够显著降低流水线中各个线程的缓冲队列长度,能够降低流水线中各个线程的缓冲队列长度的波动幅度以及各个线程缓冲队列长度之间的差异。

    基于网络中间点的网页响应时间被动测量方法及系统

    公开(公告)号:CN103036746B

    公开(公告)日:2015-07-08

    申请号:CN201210563218.9

    申请日:2012-12-21

    IPC分类号: H04L12/26

    摘要: 本发明提供一种基于网络中间点的网页响应时间被动测量方法及系统,该方法包括:步骤1,数据包获取:数据包获取模块通过网卡或板卡在网络中间点实时捕获所有用户与网页交互的网络数据包,并将所述网络数据包发送给数据包分用模块;步骤2,数据包分用:数据包分用模块根据所述网络数据包的链路层、网络层和传输层协议对其进行分用处理;步骤3,数据包解析:数据包解析模块解析所述网络数据包并提取其IP、TCP和HTTP头部信息,根据所述IP、TCP和HTTP头部信息标记网络数据包类型;步骤4,响应时间测量:响应时间测量模块对不同类型的网络数据包进行相应处理,测量所有网页的响应时间。本发明的测量准确、实时、全面、高效。

    一种网络流数据重排序方法

    公开(公告)号:CN104618361A

    公开(公告)日:2015-05-13

    申请号:CN201510033154.5

    申请日:2015-01-22

    IPC分类号: H04L29/06 G06F17/30

    摘要: 本发明提供了一种网络流数据存储方法,包括:1)接收流数据,对于每个流数据,根据其源IP地址所属网段和目的IP地址所属网段计算索引值,并根据所计算的索引值找到Hash表中对应的Hash桶,其中Hash表是预先建立的用于缓存流数据的数据结构;2)在Hash桶内,根据流数据五元组之间的差量对桶内的流数据进行分组,同组的流数据被排列到一起。本发明能够大幅提升网络流数据存储系统的存储性能,减小数据熵,提高压缩比,减小流数据存储所需空间,加快流数据查询速度。

    HTTP主动测量中仿真真实用户负载的方法及系统

    公开(公告)号:CN103678544A

    公开(公告)日:2014-03-26

    申请号:CN201310641674.5

    申请日:2013-12-03

    IPC分类号: G06F17/30

    CPC分类号: H04L43/08

    摘要: 本发明公开了一种HTTP主动测量中仿真真实用户负载的方法及系统,方法包括:步骤1,从主页开始抓取待测量网站的每个网页;步骤2,计算所述待测量网站的每个网页的网页级别值;步骤3,模拟多个客户端,并令所述客户端根据所述网页级别值随机选择所述待测量网站的网页进行随机游走主动访问,从而对所述待测量网站的所述每个网页分别产生仿真真实用户访问的不同权值大小的负载。由此,可以对待测量网站的HTTP业务性能进行准确和全面的分析。

    一种基于旁路干扰的流量控制方法

    公开(公告)号:CN101005455B

    公开(公告)日:2012-06-27

    申请号:CN200610171516.8

    申请日:2006-12-30

    IPC分类号: H04L12/56

    摘要: 本发明公开了一种基于旁路干扰的流量控制方法,包括以下步骤:1)构建流量控制的规则库;2)根据规则的时间,进行规则调度,建立活跃规则库;3)对数据包进行解析,计算出数据包速率信息并根据当前活跃规则库中的规则进行全局决策和局部决策,根据决策来控制流量。所述步骤1)中规则库的规则为用户对链路层、网络层、传输层和应用层中的某一层次或几个不同层次制定的控制规则;控制规则的指标包括出境方向、入境方向和出入境方向的流量上限的绝对值、流量所占的百分比,规则生效的状态、时间、周期和地址范围;全局黑名单、全局白名单、局部黑名单和局部白名单。本发明的优点是:提高配置规则的灵活性;提高系统效率;减轻系统负载。

    一种识别RTP/RTCP流量的方法

    公开(公告)号:CN100452728C

    公开(公告)日:2009-01-14

    申请号:CN200610112698.1

    申请日:2006-08-30

    摘要: 本发明公开了基于协议特征和关联行为过程识别RTP/RTCP流量的方法,该方法包括:A、对RTSP控制产生的RTP/RTCP流进行识别;B、对非RTSP数据包产生的RTP/RTCP流进行识别。利用本发明,对于RTCP包,只需要分析包的端口信息和负载固定位置的一个字节,即第二个字节,就能得出结果,因此分析开销很小。对于RTP包的识别,只需要根据IP和端口号以及维护的RTCP流信息就能够完成识别。由于维护的RTCP流和RTP流的数目只和链路上并发的RTP/RTCP会话数目有关,和链路的带宽容量没有关系,因此维护开销不大,扩展性好,同时通过Hash表能够减少RTP/RTCP流的查找、更新、删除操作的开销,另外,尽管该启发式算法的条件比较苛刻,但是由于www、ftp、数据库查询、SMTP、P2P等应用客户端实现大多采用随机分配的端口,所以误报率和漏报率低。