公开(公告)号：CN118247977B

公开(公告)日：2025-02-14

申请号：CN202410237022.3

申请日：2024-03-01

Applicant: 南京理工大学

Inventor： 惠铭宇 ,  张伟斌 ,  庄志宏 ,  万超 ,  管毅诚 ,  王淇 ,  柳佳一

IPC: G08G1/08 ,  G08G1/01 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/048 ,  G06N3/092 ,  G06N3/084

Abstract: 本发明提供了一种基于图注意力和值分解强化学习的区域交通信号控制方法，通过收集道路车流量信息建立路网仿真模型和图模型，充分利用路网车流量信息的空间特征和时序特征，采用了多头图注意力网络和门控循环单元进行特征提取，融合得到的时空特征作为输入传递给D3QN网络计算当前最优相位，训练过程中使用多智能体共享参数条件下的值分解网络来混合路网所有智能体的状态动作价值，实现全局角度的训练。本发明够增强智能体对路网特征的感知能力，有效利用路网的时间空间信息，从整体上提高对区域交通的控制效果，提高路网交通运行效率。

公开(公告)号：CN120088976A

公开(公告)日：2025-06-03

申请号：CN202510005116.2

申请日：2025-01-02

Applicant: 南京理工大学

Inventor： 张伟斌 ,  李鹏飞 ,  董颖月 ,  乔宇 ,  王淇 ,  徐雨彤 ,  宋宇昊 ,  甘露

IPC: G08G1/01 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/092 ,  G06F18/2431

Abstract: 本发明公开了一种基于深度强化学习的高速公路合流区的协同控制方法，建立LiikeSim‑Python联合仿真环境，在仿真环境中设置线圈检测器获取高速公路合流区上下游的交通流数据；采用基于高斯混合分布的EM算法作为交通状态分类器，以高速公路合流区的交通流数据为输入，对高速公路合流区的交通状态进行划分；设计状态空间、动作空间和奖励函数；以高速公路合流区的状态空间作为输入，以可变限速智能体和匝道计量智能体的动作作为输出，构建时序特征下的多智能体共享经验的网络模型；为可变限速和匝道计量智能体分别设置一个独立的经验池，以控制周期为频率收集智能体与交通仿真环境的交互经验；使用抽样样本训练智能体模型；利用训练得到的智能体模型实现高速公路合流区的协同控制。本发明能够降低高速公路合流区交通的行程延误。

公开(公告)号：CN118247977A

公开(公告)日：2024-06-25

申请号：CN202410237022.3

申请日：2024-03-01

Applicant: 南京理工大学

Inventor： 惠铭宇 ,  张伟斌 ,  庄志宏 ,  万超 ,  管毅诚 ,  王淇 ,  柳佳一

IPC: G08G1/08 ,  G08G1/01 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/048 ,  G06N3/092 ,  G06N3/084

Abstract: 本发明提供了一种基于图注意力和值分解强化学习的区域交通信号控制方法，通过收集道路车流量信息建立路网仿真模型和图模型，充分利用路网车流量信息的空间特征和时序特征，采用了多头图注意力网络和门控循环单元进行特征提取，融合得到的时空特征作为输入传递给D3QN网络计算当前最优相位，训练过程中使用多智能体共享参数条件下的值分解网络来混合路网所有智能体的状态动作价值，实现全局角度的训练。本发明够增强智能体对路网特征的感知能力，有效利用路网的时间空间信息，从整体上提高对区域交通的控制效果，提高路网交通运行效率。