[论文解读] Scalable Deep Reinforcement Learning Algorithms for Mean Field Games

Mathieu Laurière, Sarah Perrin+9 more|arXiv (Cornell University)|Mar 22, 2022

Game Theory and Applications被引用 13

一句话总结

本文提出两种可扩展的深度强化学习算法——深度平均网络虚幻博弈（D-AFP）与深度Munchausen在线镜面下降（D-MOMD），利用神经网络对策略和价值函数进行近似，以求解有限时域平均场博弈（MFG）。D-AFP通过蒸馏技术学习混合策略，无需存储过往策略；D-MOMD通过正则化隐式求和Q函数。两种方法在五个基准MFG环境中均表现出更快的收敛速度和更低的可 exploited 性，优于当前最优基线方法。

ABSTRACT

Mean Field Games (MFGs) have been introduced to efficiently approximate games with very large populations of strategic agents. Recently, the question of learning equilibria in MFGs has gained momentum, particularly using model-free reinforcement learning (RL) methods. One limiting factor to further scale up using RL is that existing algorithms to solve MFGs require the mixing of approximated quantities such as strategies or $q$-values. This is far from being trivial in the case of non-linear function approximation that enjoy good generalization properties, e.g. neural networks. We propose two methods to address this shortcoming. The first one learns a mixed strategy from distillation of historical data into a neural network and is applied to the Fictitious Play algorithm. The second one is an online mixing method based on regularization that does not require memorizing historical data or previous estimates. It is used to extend Online Mirror Descent. We demonstrate numerically that these methods efficiently enable the use of Deep RL algorithms to solve various MFGs. In addition, we show that these methods outperform SotA baselines from the literature.

研究动机与目标

• 为解决平均场博弈（MFG）算法中非线性函数近似（如神经网络）的策略或Q值平均问题提供方案。
• 通过使用可微分的、基于神经网络的近似方法，替代表格法或内存密集型方法，实现MFG中可扩展的深度强化学习。
• 开发在保持收敛性保证的同时，利用深度学习在高维状态与动作空间中泛化能力的算法。
• 在有限时域MFG中，相较于现有最优基线方法，在收敛速度与均衡质量方面实现更优表现。

提出的方法

• D-AFP通过引入神经虚幻自博弈（NFSP）扩展虚幻博弈，将历史最佳响应通过蒸馏整合到单一神经网络策略中，实现内存高效的策略平均。
• 该方法通过模仿学习训练神经网络以近似过去所有策略的平均值，避免存储全部先前策略。
• D-MOMD通过Munchausen重参数化重新表述在线镜面下降，利用正则化目标函数隐式处理Q函数的求和。
• D-MOMD中的正则化机制使得Q网络能够端到端训练，无需显式存储或累加过去的Q函数，从而确保可扩展性。
• 两种方法均使用深度神经网络进行函数近似，并通过标准深度强化学习优化方法（如策略梯度或Q学习）进行训练。
• 算法在具有连续状态空间和非对称奖励的多群体MFG中进行评估，采用可 exploited 性与分布演化作为评价指标。

实验结果

研究问题

• RQ1 是否可以利用神经网络在不存储所有历史策略的前提下，高效近似虚幻博弈中过去策略的平均值？
• RQ2 是否能够通过可微分的正则化方案隐式求和Q函数，而非显式累加，从而在在线镜面下降中实现？
• RQ3 基于深度强化学习的MFG算法在收敛速度与均衡质量方面，相较于模型基或表格基基线方法表现如何？
• RQ4 基于正则化的算法（如D-MOMD）是否能在避免显式正则化偏差的同时，保持收敛至纳什均衡的能力？
• RQ5 所提出方法是否可扩展至包含多个相互作用群体的复杂高维MFG？

主要发现

• 在所有五个基准MFG环境中，D-MOMD的收敛速度均快于D-AFP及所有SotA基线方法。
• D-AFP成功学习到无需存储历史策略的混合策略，实现了在复杂MFG中的可扩展性。
• D-MOMD的可 exploited 性低于D-AFP与基线方法，表明其获得的均衡策略质量更高。
• D-MOMD中的Munchausen重参数化实现了对Q函数的有效隐式求和，避免了显式累加。
• 在多群体追逐博弈中，D-MOMD在可 exploited 性与分布收敛速度方面均优于D-AFP。
• 所提方法在多种MFG设置中表现出稳健性能，包括连续状态空间与非对称奖励结构。