发明公开
- 专利标题: 分布式流处理中处理资源的管理方法和装置
- 专利标题(英): Management method and device for processing resources in distributed stream processing
-
申请号: CN201610809508.5申请日: 2016-09-07
-
公开(公告)号: CN107038067A公开(公告)日: 2017-08-11
- 发明人: 黄振华
- 申请人: 阿里巴巴集团控股有限公司
- 申请人地址: 英属开曼群岛大开曼资本大厦一座四层847号邮箱
- 专利权人: 阿里巴巴集团控股有限公司
- 当前专利权人: 蚂蚁财富(上海)金融信息服务有限公司
- 当前专利权人地址: 英属开曼群岛大开曼资本大厦一座四层847号邮箱
- 代理机构: 北京博思佳知识产权代理有限公司
- 代理商 林祥
- 主分类号: G06F9/48
- IPC分类号: G06F9/48 ; G06F9/50
摘要:
本申请提供一种分布式流处理中处理资源的管理方法,包括:当某个处理单位的处理负荷满足预定拆分条件时,获取所述处理单位的最大对象处理速率;统计所述处理单位负责处理的对象流组中每个对象流的对象产生速率;所述对象流组包括至少一个对象流;将所述对象流组的至少一个子集形成新的对象流组并由其他处理单位负责处理,所述每个子集中所有对象流的对象产生速率的总和不超过对象处理速率峰值;所述对象处理速率峰值根据所述最大对象处理速率确定。上述技术方案实现了在流任务繁忙时根据对象处理速率和对象产生速率自动拆分对象流组来提高流处理速率,能够在业务量增加时及时按照运行情况添加负责处理的处理单位。
公开/授权文献
- CN107038067B 分布式流处理中处理资源的管理方法和装置 公开/授权日:2020-12-04