一种数据处理方法和装置
摘要:
本发明公开了一种数据处理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:接入实时数据流,检测逻辑处理算子所依赖的每个机器的资源使用率,得到资源总使用率;比对资源总使用率和预设使用率范围,使用与比对结果对应的处理策略,调整逻辑处理算子所依赖的每个机器的并行度;利用调整并行度后的逻辑处理算子处理所述实时数据流,将处理结果传输给下一个逻辑处理算子进行再处理,重复上述并行度调整和处理数据过程,直至无逻辑处理算子为止,得到总处理结果。该实施方式随着数据量级的大小和处理速度,自动化调整算子使用资源的并行度,无需数据开发人员调整。
0/0