一种基于物联网设备的强化学习可变时长信号灯控制方法

    公开(公告)号:CN112927522A

    公开(公告)日:2021-06-08

    申请号:CN202110067478.6

    申请日:2021-01-19

    摘要: 本发明提出了一种基于物联网设备的强化学习可变时长信号灯控制方法,主要包含以下几方面的内容:设计了一种基于交叉路口“强度”概念的强化学习方法,利用物联网设备采集到的各种实时交通信息(如车辆的位置,速度等)来控制信号灯的相位选择。同时可根据各条车道上的车辆数量选择一个最合理的绿灯时长。本发明能够在交通动态变化的情况下快速地收敛到一个优秀的信号灯控制策略,极大地缩短策略的学习时间并提升策略的控制质量。

    基于双策略网络的强化学习智能交通信号灯控制方法

    公开(公告)号:CN115273495B

    公开(公告)日:2024-08-13

    申请号:CN202210750736.5

    申请日:2022-06-29

    IPC分类号: G08G1/07 G08G1/08 G08G1/01

    摘要: 本发明公开了一种基于双策略网络的强化学习智能交通信号灯控制方法,包括:步骤1:定义满意度指标,在车辆个体层面刻画车辆行驶质量,在全局层面对路口交通情况进行准确建模;步骤2:利用双策略网络的可变时长交通信号控制方法根据步骤1中对路口交通情况的建模选择合适的路口信号灯相位与相应的持续时间;步骤3:基于步骤1的满意度指标设计强化学习方法中的状态与奖励,基于步骤2中的双策略网络设计强化学习方法中的动作,利用每个路口的强化学习智能体使用带有两个策略网络的Deep Q Network强化学习算法,根据路口车流情况对交通信号灯实时控制。本发明的强化学习智能体可以快速收敛到一个好的控制策略,在学习速度与控制质量上均优于现有方法。

    基于联邦强化学习的多路口智能交通信号灯控制方法及系统

    公开(公告)号:CN113643553B

    公开(公告)日:2022-10-25

    申请号:CN202110779122.5

    申请日:2021-07-09

    摘要: 本发明提出了一种基于联邦强化学习的多路口智能交通信号灯控制方法,主要包含以下几方面的内容:步骤1:通过对真实路口的精准建模,使用交通模拟软件Cityflow对城市交通和交通流量进行模拟。步骤2:每个强化学习智能体使用Advantage Actor‑Critic(A2C)强化学习算法,根据路口车流情况对交通信号灯实时控制,每个交叉路口的强化学习智能体由云服务器协调训练;步骤3:提出一种新的基于云‑边协同的联邦强化学习框架;步骤4:引入类似联邦学习的梯度共享与参数传递过程,在强化学习智能体之间实现知识共享。本发明还提出了一种基于联邦强化学习的多路口智能交通信号灯控制系统。本发明法不仅在车辆平均行驶时间方面取得了较好的控制效果,而且能快速收敛到全局最优解。

    基于双策略网络的强化学习智能交通信号灯控制方法

    公开(公告)号:CN115273495A

    公开(公告)日:2022-11-01

    申请号:CN202210750736.5

    申请日:2022-06-29

    IPC分类号: G08G1/07 G08G1/08 G08G1/01

    摘要: 本发明公开了一种基于双策略网络的强化学习智能交通信号灯控制方法,包括:步骤1:定义满意度指标,在车辆个体层面刻画车辆行驶质量,在全局层面对路口交通情况进行准确建模;步骤2:利用双策略网络的可变时长交通信号控制方法根据步骤1中对路口交通情况的建模选择合适的路口信号灯相位与相应的持续时间;步骤3:基于步骤1的满意度指标设计强化学习方法中的状态与奖励,基于步骤2中的双策略网络设计强化学习方法中的动作,利用每个路口的强化学习智能体使用带有两个策略网络的Deep Q Network强化学习算法,根据路口车流情况对交通信号灯实时控制。本发明的强化学习智能体可以快速收敛到一个好的控制策略,在学习速度与控制质量上均优于现有方法。

    基于联邦强化学习的多路口智能交通信号灯控制方法及系统

    公开(公告)号:CN113643553A

    公开(公告)日:2021-11-12

    申请号:CN202110779122.5

    申请日:2021-07-09

    摘要: 本发明提出了一种基于联邦强化学习的多路口智能交通信号灯控制方法,主要包含以下几方面的内容:步骤1:通过对真实路口的精准建模,使用交通模拟软件Cityflow对城市交通和交通流量进行模拟。步骤2:每个强化学习智能体使用Advantage Actor‑Critic(A2C)强化学习算法,根据路口车流情况对交通信号灯实时控制,每个交叉路口的强化学习智能体由云服务器协调训练;步骤3:提出一种新的基于云‑边协同的联邦强化学习框架;步骤4:引入类似联邦学习的梯度共享与参数传递过程,在强化学习智能体之间实现知识共享。本发明还提出了一种基于联邦强化学习的多路口智能交通信号灯控制系统。本发明法不仅在车辆平均行驶时间方面取得了较好的控制效果,而且能快速收敛到全局最优解。