发明公开
- 专利标题: 一种基于多智能体强化学习的网内服务功能部署方法
-
申请号: CN202011470782.7申请日: 2020-12-14
-
公开(公告)号: CN112769594A公开(公告)日: 2021-05-07
- 发明人: 姚海鹏 , 朱玉超 , 买天乐 , 忻向军 , 张尼 , 江亮 , 刘韵洁
- 申请人: 北京邮电大学 , 中交信通网络科技有限公司
- 申请人地址: 北京市海淀区西土城路10号;
- 专利权人: 北京邮电大学,中交信通网络科技有限公司
- 当前专利权人: 北京邮电大学,中交信通网络科技有限公司
- 当前专利权人地址: 北京市海淀区西土城路10号;
- 代理机构: 北京欣鼎专利代理事务所
- 代理商 王阳虹
- 主分类号: H04L12/24
- IPC分类号: H04L12/24 ; H04L12/801 ; G06N20/00
摘要:
本发明公开了一种基于多智能体强化学习的网内服务功能部署方法,包括以下步骤:S1、每个参与者分别更新策略π的参数;S2、每个评论家分别更新动作Q值参数;S3、定义θ={θ1,θ2,....θN}为N个agent(actor)的参数,相应的π={π1,π2,....πN}分别表示其策略;S4、对于在SFC部署过程中的用户,将第i个agent的累计预期奖励的策略梯度定义;S5、每个agent的Qi是相互独立进行训练学习的,其更新方法可以表示为:S6、定义来表示第i个agent的策略对第j个agent策略的函数近似,它的近似代价是一个带有熵正则化器的对数代价函数。本发明能够综合分布式和集中式方法的优点,既能够快速反应用户需求,保护用户隐私,提高用户服务体验。又能够考虑服务提供商运营成本,促使网络负载均衡,提高网络资源利用率。