- 专利标题: 一种MapReduce系统和处理数据流的方法
- 专利标题(英): MapReduce system and method for processing data streams
-
申请号: CN201010523169.7申请日: 2010-10-26
-
公开(公告)号: CN102456031A公开(公告)日: 2012-05-16
- 发明人: 蔡斌 , 万乐 , 刘奕慧 , 史晓峰 , 宫振飞 , 张文郁 , 张迪 , 楚大鹏 , 自然
- 申请人: 腾讯科技(深圳)有限公司
- 申请人地址: 广东省深圳市福田区赛格科技园2栋东403室
- 专利权人: 腾讯科技(深圳)有限公司
- 当前专利权人: 腾讯云计算(北京)有限责任公司
- 当前专利权人地址: 广东省深圳市福田区赛格科技园2栋东403室
- 代理机构: 北京三高永信知识产权代理有限责任公司
- 代理商 何文彬
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明公开了一种MapReduce系统和处理数据流的方法,属于计算机技术领域。所述MapReduce系统包括:M个映射Map模块和R个规约Reduce模块;所述Map模块包括:原始数据流数据获取单元、中间结果数据获取单元、中间结果数据段获取单元和中间结果数据段处理单元;所述Reduce模块包括Reduce处理单元。本发明在对数据流进行并行处理的过程中,对Map模块的输出进行合并组段,然后在段上进行Reduce处理,使得MapReduce系统可以支持数据流的处理,解决了现有MapReduce系统不能处理数据流的限制。
公开/授权文献
- CN102456031B 一种MapReduce系统和处理数据流的方法 公开/授权日:2016-08-31