一种基于强化学习的经验回放缓存池飞行器数据处理方法

    公开(公告)号:CN115828099A

    公开(公告)日:2023-03-21

    申请号:CN202211551857.3

    申请日:2022-12-05

    IPC分类号: G06F18/214 G06N3/04 G06N3/08

    摘要: 本公开涉及一种基于强化学习的经验回放缓存池飞行器数据处理方法,包括:获取飞行器姿态控制多维数据的经验回放缓存池中的样本数据集;将所述样本数据集输入至强化学习神经网络进行计算得到该样本数据集的累计奖励值;判断所述累计奖励值与预设阈值之间的大小关系,当所述累计奖励值与预设阈值满足第一大小关系时将所述样本输入至所述经验回放缓存池中的第一样本池;当所述累计奖励值与预设阈值满足第二大小关系时将所述样本输入至所述经验回放缓存池中的第二样本池;当进行经验回放采样时,在所述第一样本池和所述第二样本池之间进行采样。通过上述方法可以保护稀有样本的比例有利于强化学习的准确性。

    基于TD3多经验池强化学习的飞行器免解耦姿态控制方法

    公开(公告)号:CN115857530A

    公开(公告)日:2023-03-28

    申请号:CN202211551858.8

    申请日:2022-12-05

    IPC分类号: G05D1/08

    摘要: 本公开属于航天飞行器控制领域,涉及一种基于TD3多经验池强化学习的飞行器免解耦姿态控制方法,包括:建立飞行器姿态控制任务的马尔可夫过程,确定飞行任务的状态、动作和奖励;采用TD3强化学习算法对行为网络和评价网络进行训练,结合多经验池经验回放算法实现TD3算法中所有神经网络的快速收敛;将TD3算法训练好的行为网络作为神经网络控制器部署到飞行器中实现飞行器的免解耦姿态控制。通过上述算法,可以实现一个多通道免解耦的神经网络姿态控制器的训练,实现算法训练过程较快收敛,且训练出来的控制器对环境噪声及飞行器本体不确定性具有较强的适应能力。

    一种低成本类火箭可回收试验飞行器

    公开(公告)号:CN115556966A

    公开(公告)日:2023-01-03

    申请号:CN202211287350.1

    申请日:2022-10-20

    摘要: 本发明提出了一种低成本的可回收火箭型试验飞行器,用于实现各类运载火箭回收算法、运载火箭智能控制算法的飞行试验验证。飞行器自身结构设计简单坚固易修改,采用推力可调节的航空涡喷发动机可实现火箭下落时的稳定着陆控制。飞行器通过动力系统和执行机构可实现全部六自由度的位置及姿态运动。飞行器配备的控制系统算力较强,通过箭载飞控机与算力强大的数据处理计算机配合,可实现中等规模深度学习算法IP核的搭载和多核并行算法的搭载试验。飞行器飞控软件内部设有容错制导律,可在飞行器试验算法失控时,可切换至容错制导律实现飞行器安全飞行。同时,飞行器头部的应急回收装置可保证执行机构失效时飞行器的安全着陆。

    一种在线快速求解算法的自适应控制方法

    公开(公告)号:CN112526873B

    公开(公告)日:2022-05-27

    申请号:CN202011475938.0

    申请日:2020-12-14

    IPC分类号: G05B13/02

    摘要: 本发明公开了一种在线快速求解算法的自适应控制方法给出了一种黎卡提代数矩阵方程的在线快速求解方法,满足控制实时性要求,同时满足解算精确性要求。对于快速时变或存在突变的线性系统,采用实时根据系统参数变化进行自适应调节的最优LQR控制器,可以提高控制系统对对象参数变化的快速适应能力,并确保其具备全局最优性,达到优化控制系统性能的目的。本发明提供的一种在线快速求解算法的自适应控制方法可用于飞行器类姿态控制系统的设计过程,也可推广应用于存在黎卡提矩阵代数方程在线求解需求的研究中,为最优控制在工程中的深入应用提供理论支撑和指导。本发明具有较好的推广性,且应用范围广泛。

    一种基于汉默斯里序列的随机抽样方法

    公开(公告)号:CN107358715A

    公开(公告)日:2017-11-17

    申请号:CN201710430890.3

    申请日:2017-06-09

    IPC分类号: G07C15/00

    摘要: 本发明公开了一种基于汉默斯里序列的随机抽样方法。该方法包括:获取n维抽样空间中预设的采样点数Ns和第i轴向的边界取值;逐一生成n-1个质数Rj;选取任一整数N,1≤N≤Ns,并利用进制转换法,将所述任一整数N分别以每个质数Rj为基数进行展开;构造汉默斯里小数φi(N);计算汉默斯里采样值Φi(N);将所述汉默斯里采样值Φi(N)进行映射计算。本发明实现了减少充满抽样空间所需采样点的数目,提高采样点仿真效率和收敛精度,以及降低采样点局部聚集性的目的。