公开(公告)号：CN118897550A

公开(公告)日：2024-11-05

申请号：CN202410944693.3

申请日：2024-07-15

Applicant: 大连海事大学

Inventor： 古楠 ,  迟延瑜 ,  彭周华 ,  王丹 ,  刘陆 ,  谢威 ,  张卫东

IPC: G05D1/43 ,  G05D109/30

Abstract: 本发明一种无人艇三体追逃博弈规划与控制方法，包括以下步骤：基于目标‑防御无人艇团队输入约束、目标无人艇合速度约束、目标‑防御无人艇团队初始状态约束、目标‑防御无人艇团队状态约束及目标‑防御无人艇团队代价函数构建目标‑防御无人艇团队博弈策略，输出目标无人艇纵荡速度信息、目标无人艇横荡速度信息和防御无人艇的角速度信息；设计航向自抗扰动力学控制器，基于目标无人艇控制输入力矩实现目标无人艇逃脱攻击无人艇的追逃控制；设计艏摇角速度自抗扰动力学控制器，设计纵荡速度自抗扰动力学控制器，基于防御无人艇控制输入力、防御无人艇控制输入力矩实现防御无人艇对攻击无人艇的拦截控制，该方法有较高的鲁棒性和稳定性。

公开(公告)号：CN118068703A

公开(公告)日：2024-05-24

申请号：CN202410116153.6

申请日：2024-01-26

Applicant: 大连海事大学 ,  上海交通大学 ,  深圳市赢合科技股份有限公司

Inventor： 彭周华 ,  温家一 ,  夏枫倍 ,  王安青 ,  张卫东 ,  朱景伟 ,  谢威 ,  古楠 ,  王丹 ,  王浩亮 ,  金春雷

IPC: G05B13/04 ,  G06N3/006 ,  G06N3/045 ,  G06N3/092 ,  G06N5/04

Abstract: 本发明提供了一种无人系统集群多目标博弈对抗方法，包括如下步骤：S1、设定无人系统集群多目标追踪场景，给定无人系统集群数目与追踪目标数目，定义控制目标；S2、建立分布式部分可观测马尔科夫博弈模型；S3、构建分层目标过滤注意力网络；S4、建立多智能体深度确定性策略梯度算法；S5、设定训练轮次与每轮训练步数，开始训练，得到训练好的多智能体深度确定性策略梯度算法；S6、在进行无人系统集群多目标对抗博弈时，将局部观测信息输入到训练好的多智能体深度确定性策略梯度算法中，获取下一时刻的执行动作。本发明设计了一种新的目标权重分配算法，自动衡量每个目标的重要性，从而提高任务完成的精度与效率。

公开(公告)号：CN118012111A

公开(公告)日：2024-05-10

申请号：CN202410117055.4

申请日：2024-01-26

Applicant: 大连海事大学 ,  上海交通大学 ,  湖北三江船艇科技有限公司

Inventor： 彭周华 ,  温家一 ,  罗铭焌 ,  王安青 ,  张卫东 ,  朱景伟 ,  谢威 ,  刘陆 ,  王浩亮 ,  王丹 ,  何鹭飞

IPC: G05D1/485 ,  G05D101/10

Abstract: 本发明提供了一种三维空间强化学习路径规划方法，包括如下步骤：S1、设定无人水下潜航器在水下环境中的路径规划任务场景，构建无人水下潜航器路径规划控制目标；S2、确定马尔可夫模型的五元组；S3、建立柔性演员‑评论家算法框架；将柔性演员‑评论家算法框架与策略参数相结合，将噪声作为状态的函数合并，得到平滑的探索路径，然后初始化无人水下潜航器状态；S4、进行训练，获取无人艇集群的训练样本数据，然后输出探索路径；本发明提出了一种能够平衡能量消耗与航行距离，并且能在三维空间作业领域中得到广泛应用的路径规划控制器结构及设计方法。

公开(公告)号：CN118012057A

公开(公告)日：2024-05-10

申请号：CN202410117061.X

申请日：2024-01-26

Applicant: 大连海事大学 ,  上海交通大学 ,  深圳市镭神智能系统有限公司

Inventor： 彭周华 ,  温家一 ,  夏枫倍 ,  王安青 ,  张卫东 ,  朱景伟 ,  谢威 ,  古楠 ,  王浩亮 ,  王丹 ,  胡小波

IPC: G05D1/43 ,  G05D109/30

Abstract: 本发明提供了一种面向无人艇集群多目标追踪策略的强化学习推理方法，包括如下步骤：S1、基于单体无人艇离散动力学模型构建多目标追踪控制目标；S2、采用分布式马尔可夫模型对无人艇集群多目标追踪控制问题进行建模并确定分布式部分可观测马尔可夫模型的五元组；S3、根据构建的模型五元组，建立多智能体深度确定性策略梯度算法框架；S4、将硬注意力机制融入多智能体深度确定性策略梯度算法框架；S5、设定网络训练参数进行训练，获取无人艇集群的状态信息，输出最优控制策略；本发明将博弈论原理引入多智能体深度确定性策略梯度算法的奖励函数优化，通过优化各无人艇间的任务分配，实现了无人艇集群在多目标追踪任务中的最佳协同。

公开(公告)号：CN117806318A

公开(公告)日：2024-04-02

申请号：CN202311830670.1

申请日：2023-12-28

Applicant: 上海交通大学 ,  海之韵(苏州)科技有限公司 ,  东北大学 ,  大连海事大学

Inventor： 谢威 ,  张宸鸣 ,  张卫东 ,  张华鹏 ,  林斌 ,  杨子恒 ,  刘腾飞 ,  彭周华

IPC: G05D1/43 ,  G05D1/622

Abstract: 本发明涉及一种基于多智能体强化学习的水面目标协同围捕方法，包括：构建基于多智能体强化学习的水面目标围捕模型，以各个无人船的状态作为输入，输出无人船的驱动力；采用集中训练、分布执行的训练框架对水面目标围捕模型进行训练，无人船作为强化学习中的智能体通过训练生成多智能体协同控制策略，根据获取到的有限的环境信息进行决策和协同，以完成对敌对目标围捕；其中，利用一个非线性映射函数将无人船趋近阶段和环绕阶段的不同目标合并为同一个，同时，在奖励函数中设有围捕角的惩罚项，使得无人船集群仅在所有无人船与围捕目标之间的距离小于预设阈值时才开始围捕和环绕。与现有技术相比，本发明具有结构简单、成功率高、泛化性好等优点。