一种实现无人机自主穿越可移动框形障碍物的方法

    公开(公告)号:CN112114592A

    公开(公告)日:2020-12-22

    申请号:CN202010945731.9

    申请日:2020-09-10

    申请人: 南京大学

    IPC分类号: G05D1/10 G01C3/00 G06N20/00

    摘要: 本发明公开了一种实现无人机自主穿越可移动框形障碍物的方法,步骤如下:(1)构造环境模拟器;(2)确定无人机与模拟器环境交互的状态、动作、转移和奖励。将穿越可移动框形障碍物的任务设计成一个强化学习智能体与环境交互的问题,用强化学习算法学习无人机穿越框形障碍的飞行策略;(3)改变可移动框形障碍物截面积的大小和位移幅度,设置从易到难的课程学习,逐步提升无人机的越障飞行策略;(4)将在环境模拟器中训练收敛后的无人机穿越框形障碍物的飞行策略迁移到真实无人机上;(5)利用迁移到真机上的飞行策略实现无人机自主穿越可移动门框障碍物。本发明可实现无人机准确检测障碍物的位置,控制飞行状态,平稳通过障碍区域。

    一种实现无人机自主穿越可移动框形障碍物的方法

    公开(公告)号:CN112114592B

    公开(公告)日:2021-12-17

    申请号:CN202010945731.9

    申请日:2020-09-10

    申请人: 南京大学

    IPC分类号: G05D1/10 G01C3/00 G06N20/00

    摘要: 本发明公开了一种实现无人机自主穿越可移动框形障碍物的方法,步骤如下:(1)构造环境模拟器;(2)确定无人机与模拟器环境交互的状态、动作、转移和奖励。将穿越可移动框形障碍物的任务设计成一个强化学习智能体与环境交互的问题,用强化学习算法学习无人机穿越框形障碍的飞行策略;(3)改变可移动框形障碍物截面积的大小和位移幅度,设置从易到难的课程学习,逐步提升无人机的越障飞行策略;(4)将在环境模拟器中训练收敛后的无人机穿越框形障碍物的飞行策略迁移到真实无人机上;(5)利用迁移到真机上的飞行策略实现无人机自主穿越可移动门框障碍物。本发明可实现无人机准确检测障碍物的位置,控制飞行状态,平稳通过障碍区域。

    一种固定翼无人机自主控制协作策略训练方法

    公开(公告)号:CN112034888A

    公开(公告)日:2020-12-04

    申请号:CN202010944803.8

    申请日:2020-09-10

    申请人: 南京大学

    IPC分类号: G05D1/10

    摘要: 本发明公开一种固定翼无人机自主控制协作策略训练方法,包含以下步骤:(1)基于动力学构建固定翼无人机操控仿真环境Es,采集飞行员控制无人机的真实轨迹数据,通过监督学习的方式学习得到无人机飞行控制策略;(2)构建简化的剥离了飞行控制的抽象环境Ea,创建分组对抗的两组无人机群,使用APEX_QMIX算法学习得到协作策略;(3)以分层强化学习的方式将飞行控制策略和协作策略进行组合,在仿真环境Es中进学得融合策略;(3)迁移到真实环境。本发明方法在现实场景中意义重大,具有泛化性好,成本低,鲁棒性强等特性。

    一种固定翼无人机自主控制协作策略训练方法

    公开(公告)号:CN112034888B

    公开(公告)日:2021-07-30

    申请号:CN202010944803.8

    申请日:2020-09-10

    申请人: 南京大学

    IPC分类号: G05D1/10

    摘要: 本发明公开一种固定翼无人机自主控制协作策略训练方法,包含以下步骤:(1)基于动力学构建固定翼无人机操控仿真环境Es,采集飞行员控制无人机的真实轨迹数据,通过监督学习的方式学习得到无人机飞行控制策略;(2)构建简化的剥离了飞行控制的抽象环境Ea,创建分组对抗的两组无人机群,使用APEX_QMIX算法学习得到协作策略;(3)以分层强化学习的方式将飞行控制策略和协作策略进行组合,在仿真环境Es中进学得融合策略;(3)迁移到真实环境。本发明方法在现实场景中意义重大,具有泛化性好,成本低,鲁棒性强等特性。

    无人机躲避柱状障碍物到达目标点的最优路径训练方法

    公开(公告)号:CN112034887A

    公开(公告)日:2020-12-04

    申请号:CN202010944543.4

    申请日:2020-09-10

    申请人: 南京大学

    IPC分类号: G05D1/10

    摘要: 本发明公开一种无人机躲避柱状障碍物到达目标点的最优路径训练方法,包含以下步骤:(1)构造基于空气动力学的环境模拟器;(2)使用深度神经网络初始化无人机策略模型;(3)无人机在环境模拟器中获得当前时刻的观测,并做出动作;(4)无人机与环境模拟器交互,生成并保存训练数据,对训练数据进行采样,使用训练数据通过强化学习算法学习无人机躲避柱状障碍物选择到达目标点最优路径。本发明能够使无人机获得类似人类的学习能力,在难度系数较高、环境未知、复杂且具有不确定因素的任务中完成任务。