一种MapReduce系统和处理数据流的方法
摘要:
本发明公开了一种MapReduce系统和处理数据流的方法,属于计算机技术领域。所述MapReduce系统包括:M个映射Map模块和R个规约Reduce模块;所述Map模块包括:原始数据流数据获取单元、中间结果数据获取单元、中间结果数据段获取单元和中间结果数据段处理单元;所述Reduce模块包括Reduce处理单元。本发明在对数据流进行并行处理的过程中,对Map模块的输出进行合并组段,然后在段上进行Reduce处理,使得MapReduce系统可以支持数据流的处理,解决了现有MapReduce系统不能处理数据流的限制。
公开/授权文献
0/0