-
公开(公告)号:CN111985640A
公开(公告)日:2020-11-24
申请号:CN202010662161.2
申请日:2020-07-10
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
Abstract: 本申请公开了一种基于强化学习的模型训练方法以及相关装置,可以应用于游戏策略模拟的过程中。通过获取预设强化学习模型和多个目标强化学习模型;然后将目标样本输入预设强化学习模型,并在强化学习环境中进行迭代计算,以得到样本集合;并从样本集合中提取经验样本,以结合目标强化学习模型建立正则化安德森目标函数;进一步的通过得到安德森系数向量确定损失函数,以对预设强化学习模型进行训练。由于在训练过程中的样本为循环使用的过程,提高了数据的利用率,进而减少了智能体与环境的交互次数,提高了强化学习模型训练的效率。
-
公开(公告)号:CN111985640B
公开(公告)日:2024-11-05
申请号:CN202010662161.2
申请日:2020-07-10
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06N20/00
Abstract: 本申请公开了一种基于强化学习的模型训练方法以及相关装置,可以应用于游戏策略模拟的过程中。通过获取预设强化学习模型和多个目标强化学习模型;然后将目标样本输入预设强化学习模型,并在强化学习环境中进行迭代计算,以得到样本集合;并从样本集合中提取经验样本,以结合目标强化学习模型建立正则化安德森目标函数;进一步的通过得到安德森系数向量确定损失函数,以对预设强化学习模型进行训练。由于在训练过程中的样本为循环使用的过程,提高了数据的利用率,进而减少了智能体与环境的交互次数,提高了强化学习模型训练的效率。
-
公开(公告)号:CN108803321A
公开(公告)日:2018-11-13
申请号:CN201810535773.8
申请日:2018-05-30
Applicant: 清华大学
IPC: G05B13/04
Abstract: 本发明提出了一种基于深度强化学习的自主水下航行器轨迹跟踪控制方法,属于深度强化学习和智能控制领域。首先定义AUV轨迹跟踪控制问题;然后建立AUV轨迹跟踪问题的马尔科夫决策过程模型;接着构建混合策略‑评价网络,该网络由多个策略网络和评价网络构成;最后由构建的混合策略‑评价网络求解AUV轨迹跟踪控制的目标策略,对于多个评价网络,通过定义期望贝尔曼绝对误差来评估每个评价网络的性能,在每个时间步只更新性能最差的一个评价网络,对于多个策略网络,在每个时间步随机选择一个策略网络,并采用确定性策略梯度进行更新,最终学习到的策略为所有策略网络的均值。本发明不易受到恶劣AUV历史跟踪轨迹的影响,精度高。
-
公开(公告)号:CN119895440A
公开(公告)日:2025-04-25
申请号:CN202280099600.0
申请日:2022-09-07
Applicant: 罗伯特·博世有限公司 , 清华大学
Abstract: 本发明公开了一种用于训练离线强化学习网络的方法。该方法包括:获得离线强化学习网络,其中,所述离线强化学习网络为智能体提供在环境的状态下采取动作的策略;在引导数据集上生成引导网络,其中,所述引导网络输出用于优化所述离线强化学习网络的策略改进目标和策略约束目标的相对重要性;以及基于所述相对重要性,通过作为所述策略改进目标和所述策略约束目标的函数的策略目标,在离线数据集上更新所述离线强化学习网络的策略参数。
-
公开(公告)号:CN108803321B
公开(公告)日:2020-07-10
申请号:CN201810535773.8
申请日:2018-05-30
Applicant: 清华大学
IPC: G05B13/04
Abstract: 本发明提出了一种基于深度强化学习的自主水下航行器轨迹跟踪控制方法,属于深度强化学习和智能控制领域。首先定义AUV轨迹跟踪控制问题;然后建立AUV轨迹跟踪问题的马尔科夫决策过程模型;接着构建混合策略‑评价网络,该网络由多个策略网络和评价网络构成;最后由构建的混合策略‑评价网络求解AUV轨迹跟踪控制的目标策略,对于多个评价网络,通过定义期望贝尔曼绝对误差来评估每个评价网络的性能,在每个时间步只更新性能最差的一个评价网络,对于多个策略网络,在每个时间步随机选择一个策略网络,并采用确定性策略梯度进行更新,最终学习到的策略为所有策略网络的均值。本发明不易受到恶劣AUV历史跟踪轨迹的影响,精度高。
-
-
-
-