公开(公告)号：CN118707849A

公开(公告)日：2024-09-27

申请号：CN202410738317.9

申请日：2024-06-07

Applicant: 东南大学

Inventor： 彭剑坤 ,  陈伟琪 ,  闫方 ,  彭杨诚 ,  丁璠 ,  韩雨 ,  范毅 ,  张海龙

IPC: G05B13/04 ,  G06Q10/0637 ,  G06Q50/40 ,  G06F30/27 ,  G06N3/092

Abstract: 本发明涉及一种基于深度强化学习算法的多车道场景集成式节能驾驶策略优化方法，包括：以多车道直线高速公路为目标场景，利用不同算法分别控制主车和周围车辆的横纵向运动，建立运动学模型，并输入训练场景相关参数；从状态空间、动作空间和奖励函数三个方面，基于SAC算法设计轨迹规划与能量管理集成式节能驾驶策略；确定对协同优化性能影响最大的权重系数的合适取值，对设计策略的最优性和适应性进行检验。与现有技术相比，本发明中基于SAC算法的节能驾驶策略在与不同算法的最优性对比试验中展现了最优的性能，不仅比在线策略型深度强化学习算法更优，与同为离线型算法的DDPG和TD3相比，其综合性能也更强。

公开(公告)号：CN115495997A

公开(公告)日：2022-12-20

申请号：CN202211334615.9

申请日：2022-10-28

Applicant: 东南大学

Inventor： 彭剑坤 ,  陈伟琪 ,  周嘉璇 ,  何洪文 ,  范毅 ,  魏中宝 ,  马春野

IPC: G06F30/27 ,  B60W50/00 ,  G06N3/04 ,  G06N3/08 ,  G06F119/08 ,  G06F119/14

Abstract: 本发明公开了一种基于异构多智能体深度强化学习的新能源汽车生态驾驶方法，针对串联式新能源汽车，基于多智能体深度确定性策略梯度算法，融合自适应巡航控制（ACC）和能量管理策略（EMS），开发了一种集成式的生态驾驶框架。主要步骤包括构建仿真环境，加载训练数据；构建两个智能体ACC和EMS，并搭建Actor、Critic网络及目标网络；训练生态驾驶策略，获得可继承的网络参数；加载网络参数至整车控制器，实现在线应用。本方法利用两个异构智能体解耦并优化不同领域的目标，避免权重不协调的负面影响；采用改进的优先经验回放技术，提高了算法的性能；对多种交通工况具有良好的适应性；在实现最佳跟驰性能的前提下降低了综合行驶成本。

公开(公告)号：CN117993293A

公开(公告)日：2024-05-07

申请号：CN202410130880.8

申请日：2024-01-31

Applicant: 东南大学

Inventor： 彭剑坤 ,  任廷辉 ,  陈志军 ,  陈伟琪 ,  吴长城 ,  马春野

IPC: G06F30/27 ,  G06N3/04 ,  G06N3/092

Abstract: 本发明公开了嵌入模仿学习的学习型燃料电池混动汽车能量管理方法，包括：构建仿真环境、构建训练工况和测试工况；基于动态规划，提取训练工况的全局最优轨迹；使用模仿学习算法对全局最优轨迹进行模仿，获得可继承的神经网络参数；将通过模仿学习算法取得的神经网络作为深度强化学习算法的初始化策略网络，开始强化学习训练，直到深度强化学习算法收敛。本发明充分结合了基于优化的方法与深度强化学习方法的优点，弥补了传统深度强化学习算法的不足，能够提高训练效率和优化效果。

公开(公告)号：CN115495997B

公开(公告)日：2024-01-30

申请号：CN202211334615.9

申请日：2022-10-28

Applicant: 东南大学

Inventor： 彭剑坤 ,  陈伟琪 ,  周嘉璇 ,  何洪文 ,  范毅 ,  魏中宝 ,  马春野

IPC: G06F30/27 ,  B60W50/00 ,  G06N3/04 ,  G06N3/092 ,  G06F119/08 ,  G06F119/14

Abstract: 本。本发明公开了一种基于异构多智能体深度强化学习的新能源汽车生态驾驶方法，针对串联式新能源汽车，基于多智能体深度确定性策略梯度算法，融合自适应巡航控制（ACC）和能量管理策略（EMS），开发了一种集成式的生态驾驶框架。主要步骤包括构建仿真环境，加载训练数据；构建两个智能体ACC和EMS，并搭建Actor、Critic网络及目标网络；训练生态驾驶策略，获得可继承的网络参数；加载网络参数至整车控制器，实现在线应用。本方法利用两个异构智能体解耦并优化不同领域的目标，避免权重不协调的负面影(56)对比文件Jiankun Peng et al.CollaborativeOptimization of Energy ManagementStrategy and Adaptive Cruise ControlBased on Deep Reinforcement Learning.《IEEE Transactions on TransportationElectrification》.2022,参见第1-3节.

公开(公告)号：CN116461391A

公开(公告)日：2023-07-21

申请号：CN202310661463.1

申请日：2023-06-06

Applicant: 东南大学

Inventor： 彭剑坤 ,  陈伟琪 ,  任廷辉 ,  陈峻 ,  周嘉璇 ,  丁璠 ,  韩雨 ,  马春野

IPC: B60L58/30 ,  B60L58/40

Abstract: 本发明公开了一种燃料电池混动汽车能量管理方法，主要步骤包括构建仿真环境、构建训练工况和验证工况；搭建Actor、Critic网络及其目标网络；训练能量管理策略，获得可继承的网络参数；加载网络参数至整车控制器，实现在线应用。本方法采用了Beta策略来改进标准SAC算法来提高优化性能；经过多次仿真实验，确定了合适的权重系数，并强调了健康约束，以降低驾驶成本，延长燃料电池混动汽车（FCHEV）的使用寿命；实现了与动态规划（DP）基准非常接近的性能，并且在不同驾驶循环中的仿真结果表明了良好的适应性。

公开(公告)号：CN116552338A

公开(公告)日：2023-08-08

申请号：CN202310661465.0

申请日：2023-06-06

Applicant: 东南大学

Inventor： 彭剑坤 ,  申阳 ,  王春海 ,  周稼铭 ,  魏中宝 ,  江如海 ,  陈伟琪 ,  衣丰艳 ,  马春野

IPC: B60L58/30

Abstract: 本发明提出了一种氢燃料电池客车节能驾驶控制方法及系统，所述方法包括：设计了分层式的双层深度强化学习架构，上层深度强化学习通过获取氢燃料电池客车和前车速度、加速度及匝道路况等交通环境信息，对氢燃料电池客车纵向速度进行合适控制，保证其安全平稳行驶；下层深度强化学习则通过上层输出的速度对氢燃料电池进行能量管理节能优化；同时设计了一条包含三组不同交通流量的匝道的快速路进行对深度强化学习算法的离线训练，获得优化的节能驾驶控制。本发明实现了采用双层深度强化学习方法完成对氢燃料电池客车的纵向速度控制与能量管理节能优化，使氢燃料电池客车实现节能驾驶。

公开(公告)号：CN115563716A

公开(公告)日：2023-01-03

申请号：CN202211253311.X

申请日：2022-10-13

Applicant: 东南大学

Inventor： 彭剑坤 ,  范毅 ,  陈伟琪 ,  殷国栋 ,  庄伟超 ,  江如海

IPC: G06F30/15 ,  G06F30/27

Abstract: 本发明公开了一种混合动力汽车能量管理策略和自适应巡航控制协同优化的方法，以混合动力汽车为研究对象，基于深度确定性策略梯度算法，融合跟驰模型和动力电池能量管理策略，开发了一种基于深度强化学习的生态驾驶能量管理策略，在实现最佳跟驰表现的前提下提高了燃油经济性。主要步骤包括构建仿真环境，加载训练数据；基于DDPG算法构建Actor、Critic训练网络；通过DDPG算法对能量管理策略进行训练，获得可继承的神经网络参数；将训练得到的网络参数下载至混合动力汽车整车控制器，实现实时在线应用。