[论文解读] Stable Opponent Shaping in Differentiable Games

Alistair Letcher, Jakob Foerster+3 more|arXiv (Cornell University)|Nov 20, 2018

Reinforcement Learning in Robotics参考文献 25被引用 10

一句话总结

本文提出了一种名为稳定对手调节（SOS）的新算法，该算法结合了LookAhead的收敛保证与LOLA在可微博弈中的对手调节能力。SOS在所有$n$-玩家非凸博弈中确保局部收敛至均衡点并避免严格鞍点，同时在迭代囚徒困境和高斯混合模型等任务中，其稳定性和性能优于LOLA。

ABSTRACT

A growing number of learning methods are actually differentiable games whose players optimise multiple, interdependent objectives in parallel -- from GANs and intrinsic curiosity to multi-agent RL. Opponent shaping is a powerful approach to improve learning dynamics in these games, accounting for player influence on others' updates. Learning with Opponent-Learning Awareness (LOLA) is a recent algorithm that exploits this response and leads to cooperation in settings like the Iterated Prisoner's Dilemma. Although experimentally successful, we show that LOLA agents can exhibit 'arrogant' behaviour directly at odds with convergence. In fact, remarkably few algorithms have theoretical guarantees applying across all (n-player, non-convex) games. In this paper we present Stable Opponent Shaping (SOS), a new method that interpolates between LOLA and a stable variant named LookAhead. We prove that LookAhead converges locally to equilibria and avoids strict saddles in all differentiable games. SOS inherits these essential guarantees, while also shaping the learning of opponents and consistently either matching or outperforming LOLA experimentally.

研究动机与目标

• 解决现有算法在$n$-玩家非凸可微博弈中缺乏理论收敛保证的问题。
• 识别并解决LOLA的‘傲慢’行为，即尽管实验表现成功，却无法收敛至不动点。
• 开发一种在多智能体学习中同时保持收敛稳定性和对手调节能力的方法。
• 弥合理论稳健但被动的算法（如LookAhead）与实验有效但不稳定的算法（如LOLA）之间的差距。

提出的方法

• 提出LookAhead（LA），即LOLA的一种变体，通过修改更新规则以确保稳定性，从而保留不动点。
• 利用不动点迭代与动力系统理论，证明LookAhead在所有可微博弈中可实现局部收敛至均衡点并避免严格鞍点。
• 设计SOS为LOLA与LookAhead之间的凸组合，采用理论基础明确的标准以平衡利用与稳定性。
• 采用两部分准则确定插值参数：一部分基于对手损失动态，另一部分基于收敛稳定性，以确保鲁棒性。
• 利用稳定流形定理证明，在SOS下收敛至不稳定均衡点的概率为零。
• 在多智能体强化学习与生成对抗网络（GANs）中实现SOS，并与LOLA、SGA、CO和LA在合作与模式覆盖任务中的表现进行比较。

实验结果

研究问题

• RQ1 为何LOLA在某些可微博弈中无法收敛，其‘傲慢’行为的根源是什么？
• RQ2 能否在不牺牲收敛保证的前提下，将LOLA的对手调节能力增强至类似LookAhead的理论稳定算法？
• RQ3 是否可能设计一种混合算法，结合LookAhead的收敛特性与LOLA的战略调节能力？
• RQ4 SOS在实际应用中相较于LOLA及其他基线方法，在合作与非合作设置下的表现如何？
• RQ5 SOS是否能避免生成对抗网络训练中的模式崩溃与模式跳跃，特别是在多模态数据分布上？

主要发现

• 在构造的串联博弈中，LOLA表现出‘傲慢’行为，尽管实验成功，却收敛至非不动点。
• 证明LookAhead在所有可微博弈中可实现局部收敛至均衡点并避免严格鞍点，这是首个针对非梯度方法的此类理论保证。
• SOS继承了LookAhead的理论收敛保证，同时在实验中表现与LOLA相当或更优，包括在迭代囚徒困境中的以牙还牙策略。
• 在高斯混合模型建模中，SOS在模式覆盖与KL散度降低方面与CO和SGA相当或更优，且收敛速度更快、稳定性更高，优于LOLA。
• SOS避免了持续的模式跳跃，并随时间保持较低的$\|\xi\|$（梯度不匹配），而LOLA在8–10k次迭代后常出现发散。
• 理论分析表明，由于稳定流形定理，SOS下收敛至不稳定均衡点的概率为零，进一步证实了其鲁棒性。