吴志娟, 林艳等 | 基于多智能体协同的无人机簇群多域节能抗干扰通信

研究意义

复杂的电磁环境易导致无人机之间的通信受到强干扰，现有无人机仅能利用有限的环境观测信息完成抗干扰通信。对主要依赖于电池供能的无人机而言，频谱域上通过频繁的信道切换来规避干扰信号会产生较高的跳频开销，进而造成传输延迟和丢包；而功率域上无人机的过高发射功率不仅易招致干扰信号的追踪，还会增加传输能量损耗。因此，无人机簇群网络如何在频谱资源受限的条件下实现低传输能量损耗和低跳频开销的节能抗干扰通信成为亟待解决的关键问题。

本文工作

为了解决上述问题，本文从联合频谱域和功率域的角度出发，以最小化长期传输能量损耗和跳频开销为优化目标，通过建立分布式部分可观测马尔科夫决策过程模型，构建基于多智能体协同的无人机簇群节能抗干扰通信框架。具体地，各簇头无人机作为智能体，利用长短时记忆神经网络的信息长期记忆优势，结合双深度Q学习方法，采用多智能体框架完成分布式训练，最终实现各簇群仅需本地观测信息即可完成协同多域节能抗干扰通信分布式决策。

本文的创新点如下：

(1) 针对未知传输和干扰环境的无人机簇群网络，以最小化长期传输能量损耗和跳频开销为优化目标，建立了联合信道选择和功率分配的节能抗干扰通信动态决策问题，并进一步将该问题建模为分布式部分可观测马尔科夫决策过程；

(2) 提出了一种基于多智能体双深度递归Q学习的协同多域节能抗干扰方案，即利用具有长期信息记忆性的长短时记忆神经网络解决部分可观测环境下决策训练信息不足的问题，再结合双深度Q学习的高效训练优势和基于多智能体协同的分布式训练框架，实现仅需各簇群本地观测信息即可完成多域抗干扰分布式决策；

(3) 仿真结果验证了所提方法能有效降低长期传输能量损耗和跳频开销，同时提高数据传输成功率。此外，仿真结果还表明了在不同无人机簇群数目和干扰机数目的情况下，所提方案的各项性能均明显优于基准方案。