[论文解读] Reinforcement Learning for Mean Field Games, with Applications to Economics

Andrea Angiuli, Jean‐Pierre Fouque+1 more|arXiv (Cornell University)|Jun 25, 2021

Economic Policies and Impacts被引用 4

一句话总结

本文提出了一种双时标强化学习算法 U2-MF-QL-FH，用于在有限时域设置下求解通过控制分布相互作用的平均场博弈（MFG）和平均场控制（MFC）问题。通过将 Q 函数与控制分布的学习率解耦，该方法在无模型框架下统一了 MFG 与 MFC 的学习，通过 Q-learning 和分布更新准确逼近了均衡解与最优控制解。

ABSTRACT

Mean field games (MFG) and mean field control problems (MFC) are frameworks to study Nash equilibria or social optima in games with a continuum of agents. These problems can be used to approximate competitive or cooperative games with a large finite number of agents and have found a broad range of applications, in particular in economics. In recent years, the question of learning in MFG and MFC has garnered interest, both as a way to compute solutions and as a way to model how large populations of learners converge to an equilibrium. Of particular interest is the setting where the agents do not know the model, which leads to the development of reinforcement learning (RL) methods. After reviewing the literature on this topic, we present a two timescale approach with RL for MFG and MFC, which relies on a unified Q-learning algorithm. The main novelty of this method is to simultaneously update an action-value function and a distribution but with different rates, in a model-free fashion. Depending on the ratio of the two learning rates, the algorithm learns either the MFG or the MFC solution. To illustrate this method, we apply it to a mean field problem of accumulated consumption in finite horizon with HARA utility function, and to a trader's optimal liquidation problem.

研究动机与目标

• 开发一种无模型强化学习方法，用于求解通过控制分布相互作用的平均场博弈与平均场控制问题。
• 通过使用不同的学习率比例，在单一算法框架下统一 MFG 与 MFC 解的求解学习。
• 在两个经济应用上验证该方法的有效性：基于 HARA 效用的消费与最优平仓。
• 为大规模群体决策问题提供一种可扩展、数值鲁棒的方法，其中参与者缺乏完整的模型知识。
• 将基于强化学习的平均场求解方法扩展至已知动力学之外，支持从模拟环境或黑箱环境学习。

提出的方法

• 该算法采用双时标更新规则：对动作价值（Q-矩阵）进行快速更新，对控制的经验分布进行慢速更新。
• 基于观测到的奖励与状态转移，使用 ε-greedy 探索（ε = 0.1）进行 Q-learning 更新以更新 Q 函数。
• 通过移动平均或经验频率估计更新控制分布，其学习速率慢于 Q 函数。
• 学习率的相对比例（ω^Q, ω^θ）决定了算法收敛至 MFG 或 MFC 解：更快的 Q 更新倾向于 MFG，更慢的则倾向于 MFC。
• 该方法应用于离散化的连续状态问题，状态空间与动作空间通过 Δx = Δa = 1/4 进行量化。
• 通过扩展至平均场设置的 Borkar 随机逼近理论证明了收敛性。

实验结果

研究问题

• RQ1 能否通过调节学习率比例，使单一强化学习算法同时逼近平均场博弈与平均场控制解？
• RQ2 Q 函数与分布更新的相对速度如何影响算法收敛至 MFG 或 MFC 解？
• RQ3 当底层动力学与奖励函数未知时，无模型强化学习方法在多大程度上可学习最优控制与平均场项？
• RQ4 该算法在 HARA 效用最大化与最优平仓等经济相关问题上的表现如何？
• RQ5 离散化与探索策略对学习到的控制与分布函数的准确性有何影响？

主要发现

• 当 (ω^Q, ω^θ) = (0.55, 0.85) 时，U2-MF-QL-FH 算法成功逼近理论 MFG 解，早期时间点上学习到的控制与理论控制高度一致。
• 当 (ω^Q, ω^θ) = (0.65, 0.15) 时，算法收敛至 MFC 解，证明了该方法在均衡解与最优控制模式之间切换的能力。
• 近似精度在初始时间点最高，向最终时域逐渐下降，表明后期学习复杂度更高。
• 在 MFG 与 MFC 情况下，学习到的控制分布均值均收敛至理论均值，10 次运行结果的平均值显示出稳定的收敛趋势。
• 在资本积累与平仓问题中，该方法在 10 次运行中均实现稳定学习，且在各时间点表现出一致的行为。
• 该算法对模型不确定性具有鲁棒性，即使在动力学与奖励已知但复杂的情况下，仍可作为数值求解器有效运行。