公开(公告)号：CN115454141A

公开(公告)日：2022-12-09

申请号：CN202211261459.8

申请日：2022-10-14

Applicant: 南京理工大学

Inventor： 刘梦泽 ,  单雯 ,  卢其然 ,  林艳 ,  张一晋 ,  邹骏 ,  吴志娟

IPC: G05D1/10

Abstract: 本发明公开了一种基于部分可观测信息的无人机集群多智能体多域抗干扰方法，该方法利用各智能体的部分观测环境信息，通过长短期记忆网络保留历史经验数据，输入各智能体的深度循环Q网络进行动作值函数拟合，采用ε‑greedy算法选择最大输出Q值对应的信道和功率，再经过不断独立训练各智能体的深度循环Q网络，更新Q值分布，最终学习到可适应未知干扰场景下实现通信传输能耗最小化的无人机信道和发射功率最优决策。本发明针对无人机集群网络分别处于扫频干扰和马尔科夫干扰两种场景下，利用部分可观测信息的历史经验数据，从频谱域和功率域实现有效多智能体抗干扰通信；相较于基于多智能体深度Q学习的对比方案，所提方案能够在环境信息部分可观测的情况下更高效地降低无人机集群网络的长期通信传输能耗。

公开(公告)号：CN118175551A

公开(公告)日：2024-06-11

申请号：CN202410243521.3

申请日：2024-03-04

Applicant: 南京理工大学

Inventor： 林艳 ,  吴志娟 ,  赵天宇 ,  张一晋 ,  邹骏 ,  李骏

IPC: H04W16/18 ,  G06N3/0442 ,  G06N3/092 ,  H04W16/22 ,  H04W24/02 ,  H04W24/06 ,  H04W84/06 ,  H04L41/16 ,  H04B7/185

Abstract: 本发明公开了一种基于网络强化学习的无人机簇群节能抗干扰通信方法，该方法为：设定无人机簇群网络环境，初始化无人机簇群的神经网络参数和交互信息，簇头无人机与其所有邻居簇头无人机进行信息交互；簇头无人机根据NeurComm算法中信息提取函数下的贪婪策略执行相应的动作，计算空间折扣奖励，并将簇头无人机与环境交互的轨迹存入各自的经验池中；簇头无人机计算损失函数，更新Actor和Critic网络参数；判断是否达到最大训练步长，如果未达到则重复进行本回合训练，如果达到判断是否达到最大训练回合数或者收敛，如果是则结束训练；否则进行下一回合训练。本发明降低了无人机簇群的系统能耗，提高了无人机簇群的系统吞吐量、稳定性和抗干扰性能。

公开(公告)号：CN115454141B

公开(公告)日：2025-04-04

申请号：CN202211261459.8

申请日：2022-10-14

Applicant: 南京理工大学

Inventor： 刘梦泽 ,  单雯 ,  卢其然 ,  林艳 ,  张一晋 ,  邹骏 ,  吴志娟

IPC: G05D1/46 ,  G05D1/695 ,  G05D109/20

Abstract: 本发明公开了一种基于部分可观测信息的无人机集群多智能体多域抗干扰方法，该方法利用各智能体的部分观测环境信息，通过长短期记忆网络保留历史经验数据，输入各智能体的深度循环Q网络进行动作值函数拟合，采用ε‑greedy算法选择最大输出Q值对应的信道和功率，再经过不断独立训练各智能体的深度循环Q网络，更新Q值分布，最终学习到可适应未知干扰场景下实现通信传输能耗最小化的无人机信道和发射功率最优决策。本发明针对无人机集群网络分别处于扫频干扰和马尔科夫干扰两种场景下，利用部分可观测信息的历史经验数据，从频谱域和功率域实现有效多智能体抗干扰通信；相较于基于多智能体深度Q学习的对比方案，所提方案能够在环境信息部分可观测的情况下更高效地降低无人机集群网络的长期通信传输能耗。