公开(公告)号：CN116225696B

公开(公告)日：2024-06-07

申请号：CN202310068747.X

申请日：2023-02-06

申请人： 北京邮电大学

发明人： 邵蓥侠 ,  蒲赠霖 ,  连金清 ,  向清风

IPC分类号： G06F9/50

摘要： 本申请提供一种用于流处理系统的算子并发度调优方法及装置，所述方法包括：对处于背压状态的流处理任务进行超量扩容调优处理，以使各个所述流处理任务当前均处于待缩容状态并作为目标流处理任务；根据历史调优信息对所述流处理系统中的抽象算子进行训练以生成GP模型，根据所述GP模型中的历史估计负载和所述目标流处理任务的当前工作负载计算得到工作负载适应性得分和自设计WOP采集函数；根据所述GP模型和所述自设计WOP采集函数确定所述抽象算子的最优并发度。本申请能够不依赖调优内置规则，充分利用过往调优经验，同时通过超量分配计算资源以解除数据堆积再缩容的策略有效地提升了资源重部署的效率，从而能够在生产环境中真正地落地实现。

公开(公告)号：CN116225696A

公开(公告)日：2023-06-06

申请号：CN202310068747.X

申请日：2023-02-06

申请人： 北京邮电大学

发明人： 邵蓥侠 ,  蒲赠霖 ,  连金清 ,  向清风

IPC分类号： G06F9/50

摘要： 本申请提供一种用于流处理系统的算子并发度调优方法及装置，所述方法包括：对处于背压状态的流处理任务进行超量扩容调优处理，以使各个所述流处理任务当前均处于待缩容状态并作为目标流处理任务；根据历史调优信息对所述流处理系统中的抽象算子进行训练以生成GP模型，根据所述GP模型中的历史估计负载和所述目标流处理任务的当前工作负载计算得到工作负载适应性得分和自设计WOP采集函数；根据所述GP模型和所述自设计WOP采集函数确定所述抽象算子的最优并发度。本申请能够不依赖调优内置规则，充分利用过往调优经验，同时通过超量分配计算资源以解除数据堆积再缩容的策略有效地提升了资源重部署的效率，从而能够在生产环境中真正地落地实现。