一种用于流式数据并行处理的内存管理方法
摘要:
本发明提供一种用于流式数据并行处理的内存管理方法,用于流式数据并行处理的流水线构架包括多组建立了一一对应的对等关系的生产者和消费者,具有对等关系的每个生产者和消费者都具有私有的局部缓存池,所述用于流式数据并行处理的内存管理方法包括:1)在进行流式数据并行处理过程中,每个生产者向其私有的局部缓存池申请内存,并且在该生产者的局部缓存池为空时,触发交换操作以获得内存块,所述交换操作是将该生产者的局部缓存池和与其对等的消费者的局部缓存池交换;2)在进行流式数据并行处理过程中,每个消费者向该消费者的局部缓存池释放内存。本发明能够有效地降低内存操作开销,提高内存的利用率。
公开/授权文献
0/0