基于强化学习技术的自主水下机器人无模型控制方法

    公开(公告)号:CN111240344B

    公开(公告)日:2023-04-07

    申请号:CN202010087508.5

    申请日:2020-02-11

    IPC分类号: G05D1/06

    摘要: 一种基于双神经网络强化学习技术的自主水下机器人无模型控制方法,属于机器人控制技术领域。为了解决现有的依赖于控制对象模型的水下机器人控制方法存在适用性有限的问题和控制精度不高的问题,以及不依赖控制对象模型的水下机器人控制方法存在训练量大的问题。本发明的控制器,将当前时刻和下一时刻的偏差和偏差变化率分别作为当前BP神经网络和目标BP神经网络的连续输入,当前BP神经网络的输出为实际Q值,目标神经网络的输出为期望Q值,另外将纵向推力和偏航力矩也作为神经网络的输出,从而当状态值平缓变化时,其动作输出为连续值;基于BP神经网络和Q学习的控制器实现水下机器人的控制。主要用于水下机器人的控制。

    一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法

    公开(公告)号:CN112947505B

    公开(公告)日:2022-11-25

    申请号:CN202110303184.9

    申请日:2021-03-22

    IPC分类号: G05D1/06

    摘要: 一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法,属于机器人控制技术领域。为了解决现有的控制方法对AUV编队进行控制存在控制精度差的问题,本发明针对多AUV编队中的AUV,利用纵向和艏向的复合控制系统进行控制;纵向和艏向的复合控制系统包括:基于纵向干扰观测器确定的纵向分布式控制器、基于艏向干扰观测器确定的艏向分布式控制器,以及用于确定控制器控制增益的Actor‑Critic算法;Actor‑Critic算法由Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络四个网络构成,四个网络均使用RBF神经网络。本发明主要用于水下机器人的控制。

    一种基于海流预测模型的路径规划方法

    公开(公告)号:CN108803313B

    公开(公告)日:2022-07-12

    申请号:CN201810589190.3

    申请日:2018-06-08

    IPC分类号: G05B13/02 G05B13/04 G05D1/10

    摘要: 本发明属于水下机器人控制领域,公开了一种基于海流预测模型的路径规划方法,包含如下步骤:根据路径关键点对航行区域进行栅格化处理;利用区域海洋模式对航行区域进行海流预测,拟合计算得到实时的海流信息;利用电子海图信息标记禁航区;将不同深度的禁航信息和起点终点位置信息按照不同深度的平面栅格进行存储栅格各点的经纬度、是否为禁航区、是否到达终点;计算当前位置到终点的方向并在所有下一步行驶方向中确定可选动作;使用Q学习寻求马尔科夫决策过程规划的最优策略并输出路径。本发明充分考虑实时的海流对路径规划的影响,通过BP神经网络和bagging算法进行拟合,使用强化学习来寻求最优解,加快收敛速度,降低运算的复杂度。

    一种基于USV水面光学目标跟踪的深度学习检测方法

    公开(公告)号:CN109859202B

    公开(公告)日:2022-04-12

    申请号:CN201910120133.5

    申请日:2019-02-18

    IPC分类号: G06T7/00 G06T7/246 G06N3/04

    摘要: 本发明属于水面无人平台环境感知和控制系统交叉技术领域,具体涉及一种基于USV水面光学目标跟踪的深度学习检测方法:USV装载摄像机实时采集视频,并将视频信号通过图像采集卡传给USV内部嵌入式计算机,计算机先每隔n帧选定一个关键帧,再对其进行去模糊化处理,最后利用卷积神经网络检测出水面目标;本发明在水面目标检测与定位过程中,加入了基于卷积神经网络的图像去模糊技术,改善了海水波动、目标物运动和USV航行造成的目标模糊问题,且基于24个卷积层和2个全连接层的回归方式检测目标具有速度快、背景误检率低的优点,使USV目标检测具有实时性,且不易受海面阳光折射等干扰。

    一种舰船用PID无模型自适应航向控制算法

    公开(公告)号:CN109765907B

    公开(公告)日:2022-04-05

    申请号:CN201910163383.7

    申请日:2019-03-05

    IPC分类号: G05D1/02

    摘要: 本发明属于舰船运动控制领域,具体涉及一种舰船用PID无模型自适应航向控制算法。包括将自适应比例项以及自适应微分项引入无模型自适应控制算法中,提出一种舰船用PID‑MFAC算法;根据舰船期望航向y*(k)与舰船当前航向y(k),计算航向偏差e(k),e(k)=y*(k)‑y(k);当e(k)的绝对值|e(k)|小于设定的航向状态偏差的阈值e1,则认为舰船的实际航向收敛到期望航向并跳出循环否则执行下一步;PID‑MFAC算法根据e(k)解算出航向系统的期望输入u(k);操纵机构接收并执行航向系统输入指令u(k);令k=k+1,更新舰船当前航向y(k),并转到步骤2。本发明解决了MFAC算法直接应用到舰船航向控制中存在易发生严重超调、震荡现象甚至失稳的问题,自适应比例项与自适应微分项的引入,提高了控制器的响应速度与系统的动态响应性能。

    一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法

    公开(公告)号:CN112947505A

    公开(公告)日:2021-06-11

    申请号:CN202110303184.9

    申请日:2021-03-22

    IPC分类号: G05D1/06

    摘要: 一种基于强化学习算法与未知干扰观测器的多AUV编队分布式控制方法,属于机器人控制技术领域。为了解决现有的控制方法对AUV编队进行控制存在控制精度差的问题,本发明针对多AUV编队中的AUV,利用纵向和艏向的复合控制系统进行控制;纵向和艏向的复合控制系统包括:基于纵向干扰观测器确定的纵向分布式控制器、基于艏向干扰观测器确定的艏向分布式控制器,以及用于确定控制器控制增益的Actor‑Critic算法;Actor‑Critic算法由Actor当前网络、Actor目标网络、Critic当前网络和Critic目标网络四个网络构成,四个网络均使用RBF神经网络。本发明主要用于水下机器人的控制。

    一种基于双BP网络增强学习框架的水下机器人轨迹跟踪方法

    公开(公告)号:CN111240345A

    公开(公告)日:2020-06-05

    申请号:CN202010087514.0

    申请日:2020-02-11

    IPC分类号: G05D1/06

    摘要: 一种基于双BP网络增强学习框架的水下机器人轨迹跟踪方法,它属于水下机器人轨迹跟踪技术领域。本发明解决了现有技术在进行控制器参数的在线优化时,需要依赖大量的专家先验知识建立模糊规则,导致控制器参数的在线优化耗时耗力的问题。本发明利用强化学习方法可以通过与环境的不断交互,在得到环境给出的强化值后便能通过循环迭代寻找到最优策略的特点,将强化学习方法与双BP网络结合起来,通过在线调节水下机器人的速度和艏向控制系统控制律的相关参数,使得所设计的速度和艏向控制系统能在不同的环境中选择与该环境相对应的最优控制参数,克服了现有技术中控制器参数在线优化的耗时耗力的问题。本发明可以应用于水下机器人的轨迹跟踪。

    一种融合长基线与单信标定位的海底飞行节点定位方法

    公开(公告)号:CN110554359A

    公开(公告)日:2019-12-10

    申请号:CN201910859060.1

    申请日:2019-09-11

    IPC分类号: G01S5/26 G01S5/18 G01C21/16

    摘要: 本发明属于水声定位技术领域,涉及一种海底飞行节点定位方法。本发明利用4个位置已知且固定的水声信标按照固定周期同时发射水声信号,水声信标与海底飞行节点实现时钟同步;海底飞行节点接收水声信号并记录信号到达时间,计算出水声信号传递时间;海底飞行节点未接收到水声信号时通过自身携带的低成本惯性测量单元进行惯性导航;海底飞行节点接收到水声信号后通过扩展Kalman滤波进行单信标定位位置校准;同一时刻发射的多个水声信号均被接收后,海底飞行节点通过最小二乘法进行长基线定位位置校准。本发明通过融合水下长基线定位与单信标定位,克服了长基线定位实时性差及单信标定位精度低的缺点,满足了海底飞行节点高精度实时定位的需求。

    一种抗土壤吸附的海底飞行节点航行器及工作方法

    公开(公告)号:CN110539864A

    公开(公告)日:2019-12-06

    申请号:CN201910873787.5

    申请日:2019-09-17

    摘要: 本发明属于海洋探测技术领域,特别涉及一种海底飞行节点航行器。一种抗土壤吸附的海底飞行节点航行器,包括:壳体、地震检波模块、欠驱动式推进模块及抗吸附框架;本发明所设置欠驱动式推进模块,克服了现有海底节点航行器置自身无动力能力、布放回收效率低的局限性,2个水平推进器与垂向推进器相配合,能够对航行器进行位置调整令其按设定航线移动;本发明设置的抗吸附框架,可在航行器坐底时避免安装在壳体底部的各装置与海底沉积物接触,降低海底沉积物对航行器的吸附力;抗吸附框架底部的齿形结构可有效增大摩擦力避免航行器被海流冲击产生位移,影响地震检波精度。同时,本发明还公开了一种抗土壤吸附的海底飞行节点航行器的工作方法。