公开(公告)号：CN114003387A

公开(公告)日：2022-02-01

申请号：CN202111297596.2

申请日：2021-11-04

申请人： 中国石油大学(华东)

发明人： 陈雷鸣 ,  张卫山 ,  王玉乾 ,  董次浩 ,  袁晓晨

IPC分类号： G06F9/50

摘要： 本发明提出一种基于强化学习的微服务负载均衡和弹性扩缩容方法，主要涉及强化学习领域、微服务应用的负载调度和容器的弹性扩容等领域。主要步骤包括：首先构建微服务应用环境，具体包括微服务应用流量模拟组件、指标监控组件、智能决策组件、负载调节组件、容器扩缩容组件。通过监控插件对微服务的状态进行监控，以此来获取服务的响应时间、等指标，建立各类资源和负载信息形式化的表示方法；然后面向负载调整和容器动态扩容的场景下，基于强化学习理论设计环境、智能体、动作空间、奖励函数等关键元素；通过模拟负载环境、资源等信息实现微服务应用与流量环境的交互，基于智能决策组件现实微服务负载和资源的调整。并将决策动作空间存储在智库中。最后将智库中决策结果应用到实际环境下的负载调整中，实现微服务应用负载调整策略和容器弹性扩容的动态调整，以此实现微服务应用的最佳性能和响应时间。

公开(公告)号：CN109558633A

公开(公告)日：2019-04-02

申请号：CN201811265705.0

申请日：2018-10-29

申请人： 中国石油大学(华东)

发明人： 张卫山 ,  徐龙 ,  刘威 ,  王新哲 ,  曾星杰 ,  赵宏伟 ,  李兆桐 ,  袁晓晨 ,  房凯

IPC分类号： G06F17/50 ,  G06K9/62

摘要： 本发明提出了一种基于强化学习与对抗生成网络的智能抽油机参数调整方法，采用深度学习以及强化学习相结合的方式。该算法根据采集到的采集各种油井参数(如三相电流、电压、示功图、冲程、冲次、油压、套压、温度、回压等数据)，以现有的对抽油机电参数的调整作为专家经验，通过对抗模仿学习，实现抽油机电参数的调整，实现一种实时的、动态的、无人值守的智能抽油机。