基于数字孪生和强化学习的低空智联网协同认知干扰

针对低空智联网协同认知干扰决策过程中，多架电子干扰无人机对抗多部多功能雷达的干扰资源分配问题，提出了一种基于数字孪生和深度强化学习的认知干扰决策方法。首先，将协同电子干扰问题建模为马尔可夫决策问题，建立认知干扰决策系统模型，综合考虑干扰对象、干扰功率和干扰样式选择约束，构建智能体动作空间、状态空间和奖励函数。其次，在近端策略优化（Proximal policy optimization， PPO）深度强化学习算法的基础上，提出了自适应学习率近端策略优化（Adaptive learning rate proximal policy optimization， APPO）算法。同时，为了以高保真的方式提高深度强化学习算法的训练速度，提出了一种基于数字孪生的协同电子干扰决策模型训练方法。仿真结果表明，与已有的深度强化学习算法相比，APPO算法干扰效能提升30%以上，所提训练方法能够提高50%以上的模型训练速度。