发明公开
CN114579309A 一种数据处理方法和装置
审中-实审
- 专利标题: 一种数据处理方法和装置
-
申请号: CN202210208905.2申请日: 2022-03-03
-
公开(公告)号: CN114579309A公开(公告)日: 2022-06-03
- 发明人: 李怡 , 王熙
- 申请人: 北京沃东天骏信息技术有限公司 , 北京京东世纪贸易有限公司
- 申请人地址: 北京市北京经济技术开发区科创十一街18号院2号楼4层A402室;
- 专利权人: 北京沃东天骏信息技术有限公司,北京京东世纪贸易有限公司
- 当前专利权人: 北京沃东天骏信息技术有限公司,北京京东世纪贸易有限公司
- 当前专利权人地址: 北京市北京经济技术开发区科创十一街18号院2号楼4层A402室;
- 代理机构: 中原信达知识产权代理有限责任公司
- 代理商 郝红玉; 张春晓
- 主分类号: G06F9/50
- IPC分类号: G06F9/50
摘要:
本发明公开了一种数据处理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:接入实时数据流,检测逻辑处理算子所依赖的每个机器的资源使用率,得到资源总使用率;比对资源总使用率和预设使用率范围,使用与比对结果对应的处理策略,调整逻辑处理算子所依赖的每个机器的并行度;利用调整并行度后的逻辑处理算子处理所述实时数据流,将处理结果传输给下一个逻辑处理算子进行再处理,重复上述并行度调整和处理数据过程,直至无逻辑处理算子为止,得到总处理结果。该实施方式随着数据量级的大小和处理速度,自动化调整算子使用资源的并行度,无需数据开发人员调整。