分布式流处理中处理资源的管理方法和装置
摘要:
本申请提供一种分布式流处理中处理资源的管理方法,包括:当某个处理单位的处理负荷满足预定拆分条件时,获取所述处理单位的最大对象处理速率;统计所述处理单位负责处理的对象流组中每个对象流的对象产生速率;所述对象流组包括至少一个对象流;将所述对象流组的至少一个子集形成新的对象流组并由其他处理单位负责处理,所述每个子集中所有对象流的对象产生速率的总和不超过对象处理速率峰值;所述对象处理速率峰值根据所述最大对象处理速率确定。上述技术方案实现了在流任务繁忙时根据对象处理速率和对象产生速率自动拆分对象流组来提高流处理速率,能够在业务量增加时及时按照运行情况添加负责处理的处理单位。
公开/授权文献
0/0