[论文解读] Opponent Aware Reinforcement Learning

Víctor Gallego, Roi Naveiro+2 more|arXiv (Cornell University)|Aug 22, 2019

Reinforcement Learning in Robotics参考文献 40被引用 7

一句话总结

本文提出威胁马尔可夫决策过程（TMDPs）以建模强化学习环境中操纵奖励的对手。提出了一种层级-$k$思维框架和基于预测的Q-learning算法，提升了对抗环境下的性能，优于WoLF-PHC等最先进方法，在安全博弈和网格世界环境中表现更优。

ABSTRACT

We introduce Threatened Markov Decision Processes (TMDPs) as an extension of the classical Markov Decision Process framework for Reinforcement Learning (RL). TMDPs allow suporting a decision maker against potential opponents in a RL context. We also propose a level-k thinking scheme resulting in a novel learning approach to deal with TMDPs. After introducing our framework and deriving theoretical results, relevant empirical evidence is given via extensive experiments, showing the benefits of accounting for adversaries in RL while the agent learns

研究动机与目标

• 解决强化学习智能体在安全关键应用中因对手操纵奖励信号而产生的脆弱性问题。
• 建立一个正式框架，以建模序列决策过程中奖励生成过程中的对手干扰。
• 设计一种学习算法，通过对手策略的预测建模来考虑对手行为。
• 在多样化的对抗环境中（包括矩阵博弈和网格世界）证明该方法的有效性。
• 提供一种稳健且可泛化的通用方法，在非平稳、对抗性强化学习环境中优于现有最先进算法。

提出的方法

• 提出威胁马尔可夫决策过程（TMDPs）作为标准MDP的扩展，用于建模面对干扰奖励信号的对手的智能体。
• 引入层级-$k$思维方案，其中智能体建模对手的推理深度，实现对手行为的递归预测。
• 开发一种基于预测的Q-learning算法（FP-Q），利用贝叶斯更新和遗忘因子，动态维护对对手策略的信念。
• 应用模型平均与指数平滑技术，随时间细化对手策略的预测。
• 使用Beta先验分布对对手策略的不确定性进行建模，并在交互过程中通过贝叶斯推断更新信念。
• 整合对抗性风险分析（ARA）原则，将对手决策视为具有预测分布的随机变量，将不确定性传播至决策过程。

实验结果

研究问题

• RQ1 如何使强化学习智能体在序列决策中对操纵奖励信号的对手具备鲁棒性？
• RQ2 通过层级-$k$思维建模对手的战略推理，在对抗环境中在多大程度上能提升学习性能？
• RQ3 基于预测的Q-learning方法是否能在面向安全的强化学习任务中超越标准Q-learning和WoLF-PHC？
• RQ4 所提框架在对抗环境下的超参数选择与奖励缩放方面有多敏感？
• RQ5 使用概率对手建模是否能带来在非平稳环境中更稳定且性能更高的策略？

主要发现

• 在最优超参数下，FP-Q学习算法结合层级-$k$思维在空间网格世界中实现了平均奖励$48.53 \pm 6.82$，显著优于基线方法。
• 该框架对超参数变化表现出鲁棒性，不同学习率和探索调度下平均奖励始终高于$40$。
• 在不同对手奖励缩放（如$\{-1,1\}$、$\{0,1\}$）下，该方法保持强性能，表明对奖励幅度不敏感且对缩放假设具有鲁棒性。
• 在重复矩阵博弈（IPD、ISH、IC）中，采用层级-$k$推理的FP-Q学习者相比独立Q-learning和WoLF-PHC展现出更优的收敛性与稳定性。
• 使用softmax策略而非$\epsilon$-greedy并未降低性能，证实了该框架在策略表示上的灵活性。
• 在AI Safety Gridworlds中的实证结果表明，FP-Q智能体始终优于独立Q-learner，尤其在空间变体中，当对手可阻挡或误导智能体时表现更优。