一种基于同策略正则化策略评估的离线强化学习方法
摘要:
本发明公开了一种基于同策略正则化策略评估的离线强化学习方法,首先根据同策略强化学习的需求,采样状态‑动作‑奖励‑状态‑动作形式,即SARSA‑style的经验转换数据作为训练样本;然后在同策略正则化策略评估过程中,利用SARSA‑style自举的同策略动作构建保守的近似同策略Q函数和同‑异策略动作惩罚项,来共同正则化异策略Q学习形式,即QL‑style的最优Q函数;最后在策略提升的配合下,不断地从上述稳定估计的学习最优Q函数提取高性能任务解决策略。本发明在不访问各类估计行为策略和行为Q函数的情况下,能够稳定且自然地将同策略的保守性引入到学习Q函数,并将学习Q函数可控地限制在其真实值附近。
0/0