公开(公告)号：CN117608214A

公开(公告)日：2024-02-27

申请号：CN202311345460.3

申请日：2023-10-17

申请人： 西北工业大学

发明人： 陈建忠 ,  王文杰 ,  许智赫 ,  吕泽凯 ,  吴晓宝

IPC分类号： G05B19/042

摘要： 本公开实施例是关于一种车辆队列纵横向控制方法。该方法包括：构建车辆的纵横向动力学模型；确定车辆队列的系统环境与通信拓扑，引入可变时距间距策略；设计适用于车辆纵横向控制的奖励函数；建立分布式DDPG算法对跟随车辆进行训练得到最优控制策略。本公开实施例给出了车辆的纵横向动力学模型，通过控制加速度和前轮转角来控制车辆的纵向速度、横向位移及横摆角。根据车辆的通信拓扑，确定智能体的观测量。引入可变时距间距策略，使得车辆在队列化行驶过程中兼顾安全性与道路利用率。通过设计的奖励函数激励跟随车辆逐步学习到最优策略，优化算法效率。在保证安全的前提下，设计的分布式DDPG算法训练跟随车辆做出兼顾纵向和横向控制的决策。

公开(公告)号：CN116088502A

公开(公告)日：2023-05-09

申请号：CN202211623780.6

申请日：2022-12-16

申请人： 西北工业大学

发明人： 陈建忠 ,  吴晓宝 ,  许智赫 ,  吕泽凯 ,  王文杰

IPC分类号： G05D1/02

摘要： 本发明公开了一种基于指导学习的深度强化学习车辆队列控制方法，首先，引入自适应巡航控制模型作为强化学习智能体训练初期的指导器，并设计动作合成器，将强化学习智能体的动作输出和指导器的输出进行融合；在后期的训练过程中，通过设计合理的奖励机制来激励智能体逐渐减小甚至忽略指导器的输出，从而让智能体经过动作探索能够学习到优于初期指导的策略函数；所设计强化学习算法无需进行复杂的车辆动力学模型建模，只依赖设计的观测空间，在奖励函数的激励下寻找最优策略函数，凸显了无模型算法的优势；最后，在保证安全决策的前提下，所设计的基于指导的深度强化学习的算法可以训练智能体做出比传统控制策略更合理、更类人的控制策略。