[论文解读] What is the Solution for State-Adversarial Multi-Agent Reinforcement Learning?

Songyang Han, Sanbao Su+5 more|arXiv (Cornell University)|Dec 6, 2022

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出状态对抗马尔可夫博弈（SAMG）以建模在对抗性状态扰动下的多智能体强化学习，其中标准解概念如最优策略或鲁棒纳什均衡可能不存在。本文提出一种新的解概念——鲁棒智能体策略，该策略在对抗性状态扰动下最大化最坏情况下的期望回报，并提出RMA3C算法，采用梯度下降-上升法训练此类策略，在实验中展示了对状态攻击的优越鲁棒性。

ABSTRACT

Various methods for Multi-Agent Reinforcement Learning (MARL) have been developed with the assumption that agents' policies are based on accurate state information. However, policies learned through Deep Reinforcement Learning (DRL) are susceptible to adversarial state perturbation attacks. In this work, we propose a State-Adversarial Markov Game (SAMG) and make the first attempt to investigate different solution concepts of MARL under state uncertainties. Our analysis shows that the commonly used solution concepts of optimal agent policy and robust Nash equilibrium do not always exist in SAMGs. To circumvent this difficulty, we consider a new solution concept called robust agent policy, where agents aim to maximize the worst-case expected state value. We prove the existence of robust agent policy for finite state and finite action SAMGs. Additionally, we propose a Robust Multi-Agent Adversarial Actor-Critic (RMA3C) algorithm to learn robust policies for MARL agents under state uncertainties. Our experiments demonstrate that our algorithm outperforms existing methods when faced with state perturbations and greatly improves the robustness of MARL policies. Our code is public on https://songyanghan.github.io/what_is_solution/.

研究动机与目标

• 形式化多智能体强化学习在对抗性状态扰动下的挑战，其中标准MARL假设失效。
• 识别在状态不确定性下现有解概念（如最优智能体策略和鲁棒纳什均衡）的根本局限性。
• 提出一种新的解概念——鲁棒智能体策略，该策略在对抗性状态扰动下最大化最坏情况下的期望回报。
• 设计并评估一种算法RMA3C，通过最小-最大框架中的梯度下降-上升法训练鲁棒策略。
• 通过实证验证，RMA3C在随机和对抗性状态扰动下均优于基线方法的鲁棒性。

提出的方法

• 形式化状态对抗马尔可夫博弈（SAMG）以建模最坏情况状态扰动下的MARL。
• 引入鲁棒智能体策略作为新解概念，定义为在对抗性扰动下最大化最坏情况下的期望状态值。
• 通过不动点论证，证明有限状态和有限动作SAMG中鲁棒智能体策略的存在性。
• 提出鲁棒多智能体对抗性演员-critic（RMA3C）算法，采用梯度下降-上升（GDA）优化器，同时训练智能体和对抗方。
• 使用集中式评论家估计最坏情况回报，并根据对抗性状态扰动更新演员网络。
• 采用最小-最大训练目标，其中智能体最大化最坏情况回报，而对抗方最小化该回报，以模拟最坏情况状态攻击。

实验结果

研究问题

• RQ1 在存在对抗性状态扰动的情况下，标准MARL解概念（如最优智能体策略或鲁棒纳什均衡）是否仍然存在？
• RQ2 能否为最坏情况状态不确定性下的MARL形式化出一个明确定义的解概念？
• RQ3 是否可能训练出在对抗性状态扰动下仍能保持性能的鲁棒策略？
• RQ4 在存在对抗性状态攻击的多智能体设置中，如何有效优化最小-最大训练目标？
• RQ5 与现有MARL基线相比，所提出的RMA3C算法在对抗性状态扰动下鲁棒性的提升程度如何？

主要发现

• 最优智能体策略和鲁棒纳什均衡在状态对抗马尔可夫博弈（SAMG）中并不总是存在，揭示了现有解概念在对抗性状态不确定性下的根本局限性。
• 所提出的鲁棒智能体策略（定义为最大化最坏情况下的期望状态值）在有限状态和有限动作的SAMG中被证明存在。
• 在6智能体CN环境中，RMA3C算法在经过充分训练的对抗性状态扰动下，平均回合奖励比基线最高提升9.57%。
• 实证结果表明，与现有MARL方法相比，RMA3C在随机和对抗性状态扰动下均显著提升了策略鲁棒性。
• 该算法在非合作及混合合作-竞争环境中也表现出色，表明其适用范围不仅限于纯合作场景。
• RMA3C中使用GDA优化器实现了有效的最小-最大训练，但非凸非凹设置下的收敛性仍是挑战，提示未来算法改进空间。