一种分布式数据流处理方法及装置
摘要:
本发明涉及数据处理领域,尤其涉及一种分布式数据流处理方法及装置,用以解决分布式流处理技术无法对具有同一键值的数据流进行负载均衡处理的问题。本发明实施例的方法包括:第一节点根据需要分配给下一跳工作节点的数据流的键值,确定第二节点为处理所述键值对应的数据流的下一跳工作节点,在确定该第二节点满足设定的负载迁移条件后,将所述需要分配给下一跳工作节点的数据流从所述第二节点迁移至第三节点进行处理,并指示所述第二节点和第三节点同步所述键值对应的数据流的状态信息;采用上述方法,第一节点可以在确定下游的第二节点满足设定的负载迁移条件后,将第二节点负责处理的键值对应的数据流迁移至当前累计负载较小的第三节点进行处理,从而可以针对同一键值的数据流进行负载均衡处理。
公开/授权文献
0/0