[论文解读] Neural Replicator Dynamics

Daniel Hennes, Dustin Morrill+9 more|arXiv (Cornell University)|Jun 1, 2019

Reinforcement Learning in Robotics参考文献 85被引用 13

一句话总结

本文提出神经复制者动力学（NeuRD），一种新颖的策略梯度方法，通过直接更新策略logits替代标准的基于softmax的策略更新，其灵感源自演化博弈论中的复制者动力学。通过绕过softmax的梯度传播，NeuRD在非平稳多智能体环境中提升了稳定性和适应性，在Kuhn扑克、Leduc扑克和Goofspiel等环境的表格化和深度强化学习设置中，优于标准策略梯度方法。

ABSTRACT

Policy gradient and actor-critic algorithms form the basis of many commonly used training techniques in deep reinforcement learning. Using these algorithms in multiagent environments poses problems such as nonstationarity and instability. In this paper, we first demonstrate that standard softmax-based policy gradient can be prone to poor performance in the presence of even the most benign nonstationarity. By contrast, it is known that the replicator dynamics, a well-studied model from evolutionary game theory, eliminates dominated strategies and exhibits convergence of the time-averaged trajectories to interior Nash equilibria in zero-sum games. Thus, using the replicator dynamics as a foundation, we derive an elegant one-line change to policy gradient methods that simply bypasses the gradient step through the softmax, yielding a new algorithm titled Neural Replicator Dynamics (NeuRD). NeuRD reduces to the exponential weights/Hedge algorithm in the single-state all-actions case. Additionally, NeuRD has formal equivalence to softmax counterfactual regret minimization, which guarantees convergence in the sequential tabular case. Importantly, our algorithm provides a straightforward way of extending the replicator dynamics to the function approximation setting. Empirical results show that NeuRD quickly adapts to nonstationarities, outperforming policy gradient significantly in both tabular and function approximation settings, when evaluated on the standard imperfect information benchmarks of Kuhn Poker, Leduc Poker, and Goofspiel.

研究动机与目标

• 解决标准策略梯度方法在非平稳多智能体环境中出现的不稳定性和性能不佳问题。
• 开发一种无需模型、兼容函数逼近的算法，其灵感源自演化博弈论中的复制者动力学。
• 在零和博弈中实现对变化对手策略的快速适应，同时保持收敛性保证。
• 为策略梯度方法提供一种有原则的一行式修改，即用基于复制者动力学的直接策略优化替代softmax。

提出的方法

• NeuRD通过直接使用改进的梯度步长更新策略logits，替代标准策略梯度通过softmax的更新方式。
• 该方法采用类似自然梯度的更新方式，避免了非可逆的softmax变换，从而实现更稳定的策略更新。
• 在表格化、单状态情况下，该算法在形式上等价于Hedge（指数加权）算法，并等价于带softmax的反事实遗憾最小化。
• 在适当的参数化下，该方法保持与离散时间复制者动力学的等价性，确保在零和博弈中收敛至纳什均衡。
• 该方法完全兼容深度神经网络，且无需序列形式表示或完美信息假设。
• 更新规则被推导为标准策略梯度的变换，其关键变化在于移除了通过softmax层的梯度传播。

实验结果

研究问题

• RQ1 能否设计一种对非平稳多智能体环境更具鲁棒性的策略梯度方法？
• RQ2 用受复制者动力学启发的更新替代softmax梯度步骤，是否能提升多智能体强化学习中的收敛性和稳定性？
• RQ3 复制者动力学能否有效扩展至深度神经网络等函数逼近设置？
• RQ4 NeuRD与Hedge或反事实遗憾最小化等成熟后悔最小化算法之间是否存在正式关联？
• RQ5 NeuRD在不完美信息博弈的表格化和深度强化学习基准测试中是否优于标准策略梯度方法？

主要发现

• NeuRD在非平稳多智能体环境中显著优于标准策略梯度方法，尤其在Kuhn扑克、Leduc扑克和Goofspiel中表现突出。
• 该算法能快速适应对手策略的变化，展现出相较于基线PG方法更优的响应能力。
• 在表格化设置中，NeuRD实现了向纳什均衡的收敛，与复制者动力学和后悔最小化理论保证一致。
• 在单状态、所有动作情况下，该方法在形式上等价于Hedge算法，确保理论上的稳定性和收敛性。
• NeuRD与带softmax的反事实遗憾最小化保持等价性，为策略梯度与后悔最小化框架之间建立了桥梁。
• 实证结果证实，绕过通过softmax层的梯度传播可实现更稳定、更高效的深度多智能体强化学习。