基于执行评论体系强化学习的无人船航向跟踪控制方法

    公开(公告)号:CN118466220B

    公开(公告)日:2024-10-22

    申请号:CN202410918395.7

    申请日:2024-07-10

    Abstract: 本发明公开了一种基于执行评论体系强化学习的无人船航向跟踪控制方法,所述方法包括获取考虑航行在海上的无人船舶会受到环境干扰影响的带有不确定干扰项的无人船航向控制数学模型;并将无人船航向控制数学模型转换成二阶状态空间方程,并将二阶状态空间方程作为无人船航向跟踪控制模型;根据无人船航向跟踪控制模型,构造无人船航向跟踪控制的一阶/二阶代价函数与一阶/二阶哈密顿‑雅可比‑贝尔曼方程,获得最优一阶虚拟控制率与最优最终控制器的估计值,且在船舶航向跟踪控制系统中,每一阶都会得到一个执行网络与评价网络,提高了船舶航向跟踪控制系统的学习能力,确保无人船能够高效的得到跟踪期望航向,以实现无人船航向优化跟踪控制。

    一种基于生成对抗模仿学习的船舶避碰决策方法

    公开(公告)号:CN115616917B

    公开(公告)日:2024-10-08

    申请号:CN202211394429.4

    申请日:2022-11-08

    Abstract: 本发明提供一种基于生成对抗模仿学习的船舶避碰决策方法,包括以下步骤:基于所述专家示范数据提取良好行为的状态‑动作对作为专家数据;初始化图像信息;将所述图像信息输入生成器中进行特征提取和对抗训练;获取生成器输出的状态‑动作对作为生成数据;将所述专家数据和所述生成数据输入至判别器中,所述判别器用于对所述生成数据进行二分类并输出对生成数据的真假判断值作为奖励信息;将所述奖励奖励信息反馈至环境输入中;反复执行上述步骤直至判别器输出的奖励信号都为真时,训练结束。本发明结合强化学习与模仿学习,既能够大大加快训练速度,又能够得到性能优越的避碰决策。

    基于执行评论体系强化学习的无人船航向跟踪控制方法

    公开(公告)号:CN118466220A

    公开(公告)日:2024-08-09

    申请号:CN202410918395.7

    申请日:2024-07-10

    Abstract: 本发明公开了一种基于执行评论体系强化学习的无人船航向跟踪控制方法,所述方法包括获取考虑航行在海上的无人船舶会受到环境干扰影响的带有不确定干扰项的无人船航向控制数学模型;并将无人船航向控制数学模型转换成二阶状态空间方程,并将二阶状态空间方程作为无人船航向跟踪控制模型;根据无人船航向跟踪控制模型,构造无人船航向跟踪控制的一阶/二阶代价函数与一阶/二阶哈密顿‑雅可比‑贝尔曼方程,获得最优一阶虚拟控制率与最优最终控制器的估计值,且在船舶航向跟踪控制系统中,每一阶都会得到一个执行网络与评价网络,提高了船舶航向跟踪控制系统的学习能力,确保无人船能够高效的得到跟踪期望航向,以实现无人船航向优化跟踪控制。

    基于准则导向视觉监督的智能船舶自变通避碰决策方法

    公开(公告)号:CN118004372A

    公开(公告)日:2024-05-10

    申请号:CN202410170187.3

    申请日:2024-02-06

    Abstract: 本发明公开了一种基于准则导向视觉监督的智能船舶自变通避碰决策方法,包括:构建基于准则导向下智能船舶避碰视觉监督学习的带有标注的合成数据集;基于所述合成数据集训练深层次卷积模型,所述深层次卷积模型包括深层次特征提取层和全连接输出层,所述深层次特征提取层用于获取船舶实时运动图像的图像特征,所述全连接输出层用于将图像特征映射到避碰策略的三个类别中,所述避碰策略的三个类别分别表示左转、右转和直行,通过标签0、1和2代表;获取船舶实时运动图像,通过所述深层次卷积模型进行智能船舶自变通避碰决策。本发明最终可以在不同复杂程度的会遇场景中展现出自适应避碰决策,无需重新训练,大幅降低了学习成本,提升了性能。

    一种基于机器学习和AIS数据的船舶轨迹预测方法

    公开(公告)号:CN113283653B

    公开(公告)日:2024-03-26

    申请号:CN202110586239.1

    申请日:2021-05-27

    Abstract: 本发明公开了一种基于机器学习和AIS数据的船舶轨迹预测方法,包括:对船舶历史AIS数据集进行预处理;对预处理后的AIS数据集按轨迹进行划分,以获取多条轨迹特征数据;再对轨迹特征数据中的错误数据进行检测和删除;对每条轨迹特征数据进行网格化处理,将每条轨迹特征数据内轨迹点的预测目标划分为八个邻域网格方向;建立基于xgboost算法的轨迹预测模型,通过轨迹预测模型对轨迹点进行预测。从而提高船舶运动方向预测的准确率。同时在数据集选取时,只要求传回的AIS数据位置信息在网格精度允许范围内即可认为数据有效,降低了对AIS数据的精确性要求。

    一种基于深度学习算法的新型冠状病毒分类方法

    公开(公告)号:CN112735604B

    公开(公告)日:2024-03-26

    申请号:CN202110045563.2

    申请日:2021-01-13

    Abstract: 本发明提供一种基于深度学习算法的新型冠状病毒分类方法,用于解决现有技术中存在的分类精度较低的技术问题,实现步骤为:获取现有可用病毒序列和新型冠状病毒数据集,预处理病毒序列数据集,使用三个级联的自动编码器将预处理后高维冗余的病毒序列特征进行特征提取实现数据降维,获取病毒序列非线性抽象特征,获取训练集数据和测试集数据,获取最优新型冠状病毒序列分类模型,使用所述最优新型冠状病毒序列分类模型预测新型冠状病毒数据的标签,本发明有效提高了新型冠状病毒分类的准确性。

    一种面向不同自主程度船舶间的协商交互决策方法

    公开(公告)号:CN117494817A

    公开(公告)日:2024-02-02

    申请号:CN202311275299.7

    申请日:2023-09-28

    Abstract: 本发明提供一种面向不同自主程度船舶间的协商交互决策方法,方法包括:获取各船舶航行态势认知信息,分析航行态势认知信息组成与协商交互决策需求;根据航行态势认知信息组成与协商交互决策需求分析结果,基于语义互操作标准构建航行态势认知本体与协商交互决策本体;依据模糊理论构建碰撞危险度模型确定船舶交互时机;基于多阶段船舶行动域自适应地选取船舶交互目标;运用协商交互决策本体进行船舶避让方案协商达成决策共识。本发明可以在实时处理异构设备间航行态势信息的基础上,实现不同自主程度船舶间的意图交互并达成决策共识,为船舶在自主航行中实现安全、高效的协同避让提供解决方案。

    一种基于航行态势本体建模的无人驾驶船舶场景理解方法

    公开(公告)号:CN111240325B

    公开(公告)日:2023-07-07

    申请号:CN202010037849.1

    申请日:2020-01-14

    Abstract: 本发明公开了一种基于航行态势本体建模的无人驾驶船舶场景理解方法,包括分析无人驾驶船舶航行环境的场景要素,依据驾驶场景要素进行实体构建,分析驾驶船舶与障碍物以及航行环境的关系;将场景要素的实体和实体属性的OWL语言转化为Prolog语言,依据国际海上避碰规则、专家经验以及船员船艺先验知识对无人驾驶船舶的航行规则采用Prolog语言形式进行规则表述,构建Prolog航行规则库;根据获取的船舶航行状态信息进行实体和实体属性的实例化,将实例化后的信息传入到推理机中进行航行规则的匹配和查询以及实时航行环境的重构,采用Prolog航行规则库进行基于先验知识的航行场景理解。

    一种基于迁移强化学习的海上自主水面船舶避碰决策方法

    公开(公告)号:CN115167404A

    公开(公告)日:2022-10-11

    申请号:CN202210730090.4

    申请日:2022-06-24

    Abstract: 本发明提供一种基于迁移强化学习的海上自主水面船舶避碰决策方法,包括:获取船舶航行状态及周围环境信息;基于船舶航行状态和《规则》进行船舶会遇场景划分,确定各会遇态势下的船舶推荐避让行为;考虑国际海上避碰规则与良好船艺的制约,引入碰撞危险度概念设计奖励函数,构建基于深度强化学习的船舶自主避碰决策模型;重复训练构建的模型,构建船舶避碰任务集,提出船舶避碰任务的相似度和复杂度度量模型,进行源任务筛选;通过源任务的选择和特征函数提取进行知识的获取,引入知识迁移方法加速目标任务中船舶智能体的训练,在保证避碰安全性的基础上优化决策的实时性。本发明能够有效提升船舶在复杂航行环境中的避碰决策的安全性和实时性。

Patent Agency Ranking