[论文解读] The Emergence of Wireless MAC Protocols with Multi-Agent Reinforcement Learning

Mateus P. Mota, Álvaro Valcarce+2 more|arXiv (Cornell University)|Aug 16, 2021

Wireless Networks and Protocols参考文献 20被引用 9

一句话总结

本文提出了一种基于MADDPG的多智能体强化学习（MARL）框架，使基站和用户设备能够协同从零开始学习一种新型介质访问控制（MAC）协议，包括信令和信道接入策略。与无竞争基线相比，该框架实现了更优的吞吐量性能，表明通信和集中式训练对于多智能体无线系统中稳健协议的涌现至关重要。

ABSTRACT

In this paper, we propose a new framework, exploiting the multi-agent deep deterministic policy gradient (MADDPG) algorithm, to enable a base station (BS) and user equipment (UE) to come up with a medium access control (MAC) protocol in a multiple access scenario. In this framework, the BS and UEs are reinforcement learning (RL) agents that need to learn to cooperate in order to deliver data. The network nodes can exchange control messages to collaborate and deliver data across the network, but without any prior agreement on the meaning of the control messages. In such a framework, the agents have to learn not only the channel access policy, but also the signaling policy. The collaboration between agents is shown to be important, by comparing the proposed algorithm to ablated versions where either the communication between agents or the central critic is removed. The comparison with a contention-free baseline shows that our framework achieves a superior performance in terms of goodput and can effectively be used to learn a new protocol.

研究动机与目标

• 开发一种框架，使无线网络智能体通过多智能体强化学习自主学习新型MAC协议。
• 研究智能体是否能在未预先约定控制消息语义的情况下，联合学习信令和信道接入策略。
• 评估智能体间通信和集中式训练在实现有效协议涌现中的必要性。
• 将所提出的基于MARL的协议与无竞争基线及消融版本进行比较，以评估性能和鲁棒性。

提出的方法

• 使用带集中式训练和去中心化执行（CTDE）的多智能体深度确定性策略梯度（MADDPG）进行合作学习。
• 在具有独立环境动作空间和通信动作空间的Dec-POMDP框架中，将基站和用户设备建模为RL智能体。
• 采用集中式评论家，观测所有智能体的状态和动作，以计算联合动作价值函数，通过值函数近似稳定训练。
• 引入通信动作空间，使智能体能够交换其含义通过学习获得而非预定义的控制消息。
• 应用经验回放和具有软更新的目标网络，以提高训练稳定性和收敛性。
• 使用基于吞吐量和成功传输率的奖励函数，引导策略学习。

实验结果

研究问题

• RQ1 MARL能否在未预先约定消息语义的情况下，实现完整且新颖的MAC协议（包括信令）的涌现？
• RQ2 智能体间通信在实现高性能协议涌现中有多关键？
• RQ3 通过集中式评论家实现的集中式训练对涌现协议的稳定性和性能有何影响？
• RQ4 在不同误码率下，所涌现协议的性能与传统无竞争基线相比如何？
• RQ5 所涌现协议是否能有效适应不同的传输块误码率（TBLER）场景？

主要发现

• 基于MADDPG的框架在平均吞吐量上优于无竞争基线，在测试回合中实现了99.973%的交付率，而基线为99.998%。
• 无通信的消融实验表现最差且方差最高，表明通信对稳健协议学习至关重要。
• 引入集中式评论家显著提升了训练稳定性和最终性能，表现为置信区间范围更小且收敛更好。
• 所提方案在所有测试的TBLER下均保持更优吞吐量，且在TBLER = 0.1时与基线的性能差距最小。
• DDPG消融实验（无集中式评论家）在传输两个SDU时无法超越基线，凸显了集中式训练的重要性。
• 该框架成功学习到针对不同TBLER场景的协议，展示了其适应性及在特定应用场景中优化的潜力。