公开(公告)号：CN111985640A

公开(公告)日：2020-11-24

申请号：CN202010662161.2

申请日：2020-07-10

申请人： 清华大学 ,  腾讯科技(深圳)有限公司

发明人： 黄高 ,  石文杰 ,  宋士吉 ,  马林

IPC分类号： G06N3/08 ,  G06N3/04 ,  G06K9/62

摘要： 本申请公开了一种基于强化学习的模型训练方法以及相关装置，可以应用于游戏策略模拟的过程中。通过获取预设强化学习模型和多个目标强化学习模型；然后将目标样本输入预设强化学习模型，并在强化学习环境中进行迭代计算，以得到样本集合；并从样本集合中提取经验样本，以结合目标强化学习模型建立正则化安德森目标函数；进一步的通过得到安德森系数向量确定损失函数，以对预设强化学习模型进行训练。由于在训练过程中的样本为循环使用的过程，提高了数据的利用率，进而减少了智能体与环境的交互次数，提高了强化学习模型训练的效率。

公开(公告)号：CN111985640B

公开(公告)日：2024-11-05

申请号：CN202010662161.2

申请日：2020-07-10

申请人： 清华大学 ,  腾讯科技(深圳)有限公司

发明人： 黄高 ,  石文杰 ,  宋士吉 ,  马林

IPC分类号： G06N20/00

公开(公告)号：CN108803321A

公开(公告)日：2018-11-13

申请号：CN201810535773.8

申请日：2018-05-30

申请人： 清华大学

发明人： 宋士吉 ,  石文杰

IPC分类号： G05B13/04

摘要： 本发明提出了一种基于深度强化学习的自主水下航行器轨迹跟踪控制方法，属于深度强化学习和智能控制领域。首先定义AUV轨迹跟踪控制问题；然后建立AUV轨迹跟踪问题的马尔科夫决策过程模型；接着构建混合策略‑评价网络，该网络由多个策略网络和评价网络构成；最后由构建的混合策略‑评价网络求解AUV轨迹跟踪控制的目标策略，对于多个评价网络，通过定义期望贝尔曼绝对误差来评估每个评价网络的性能，在每个时间步只更新性能最差的一个评价网络，对于多个策略网络，在每个时间步随机选择一个策略网络，并采用确定性策略梯度进行更新，最终学习到的策略为所有策略网络的均值。本发明不易受到恶劣AUV历史跟踪轨迹的影响，精度高。

公开(公告)号：CN108803321B

公开(公告)日：2020-07-10

申请号：CN201810535773.8

申请日：2018-05-30

申请人： 清华大学

发明人： 宋士吉 ,  石文杰

IPC分类号： G05B13/04

摘要： 本发明提出了一种基于深度强化学习的自主水下航行器轨迹跟踪控制方法，属于深度强化学习和智能控制领域。首先定义AUV轨迹跟踪控制问题；然后建立AUV轨迹跟踪问题的马尔科夫决策过程模型；接着构建混合策略‑评价网络，该网络由多个策略网络和评价网络构成；最后由构建的混合策略‑评价网络求解AUV轨迹跟踪控制的目标策略，对于多个评价网络，通过定义期望贝尔曼绝对误差来评估每个评价网络的性能，在每个时间步只更新性能最差的一个评价网络，对于多个策略网络，在每个时间步随机选择一个策略网络，并采用确定性策略梯度进行更新，最终学习到的策略为所有策略网络的均值。本发明不易受到恶劣AUV历史跟踪轨迹的影响，精度高。