[论文解读] Signatured Deep Fictitious Play for Mean Field Games with Common Noise

Ming Min, Ruimeng Hu|arXiv (Cornell University)|Jun 6, 2021

Sports Analytics and Performance参考文献 50被引用 4

一句话总结

本文提出签名深度虚构博弈（Sig-DFP），一种单循环深度学习算法，利用粗糙路径理论与虚构博弈求解具有共同噪声的平均场博弈（MFGs），无需计算成本极高的嵌套循环模拟。该方法在效率和精度方面表现优异，首次实现了对具有共同噪声的扩展型MFGs的深度学习求解，并显著降低了内存和运行时间需求。

ABSTRACT

Existing deep learning methods for solving mean-field games (MFGs) with common noise fix the sampling common noise paths and then solve the corresponding MFGs. This leads to a nested-loop structure with millions of simulations of common noise paths in order to produce accurate solutions, which results in prohibitive computational cost and limits the applications to a large extent. In this paper, based on the rough path theory, we propose a novel single-loop algorithm, named signatured deep fictitious play, by which we can work with the unfixed common noise setup to avoid the nested-loop structure and reduce the computational complexity significantly. The proposed algorithm can accurately capture the effect of common uncertainty changes on mean-field equilibria without further training of neural networks, as previously needed in the existing machine learning algorithms. The efficiency is supported by three applications, including linear-quadratic MFGs, mean-field portfolio game, and mean-field game of optimal consumption and investment. Overall, we provide a new point of view from the rough path theory to solve MFGs with common noise with significantly improved efficiency and an extensive range of applications. In addition, we report the first deep learning work to deal with extended MFGs (a mean-field interaction via both the states and controls) with common noise.

研究动机与目标

• 为解决现有深度学习方法在具有共同噪声的平均场博弈（MFGs）中因依赖数百万条共同噪声路径的嵌套循环模拟而导致的高计算成本问题。
• 通过粗糙路径理论中的签名表示实现非固定共同噪声处理，从而消除嵌套循环结构。
• 开发一种可扩展且高效的算法，能够在不重新训练神经网络的前提下捕捉共同不确定性变化对平均场均衡的影响。
• 将深度学习应用扩展至扩展型MFGs——其中平均场交互依赖于状态与控制——在共同噪声下实现此前未被解决的设置。
• 在多种应用场景中证明该方法的有效性，包括线性二次型MFGs、投资组合博弈和最优消费-投资问题。

提出的方法

• 该算法将深度虚构博弈与粗糙路径理论中的签名相结合，用于表示共同噪声路径对解的路径依赖性，从而实现单循环训练过程。
• 采用深度神经网络参数化最优控制策略，并通过虚构博弈实现全局优化，基于群体响应迭代改进策略。
• 将共同噪声路径的签名作为输入特征，截断至深度M，以确保计算可行性，同时保留路径信息。
• 该方法避免求解通常难以处理的复杂方程，如主方程、随机Fokker-Planck/Hamilton-Jacobi-Bellman系统或McKean-Vlasov FBSDEs。
• 在神经网络的通用逼近性质下，证明当签名深度M与虚构博弈阶段n趋于无穷时，算法收敛。
• 该算法支持异构代理与共同噪声下的扩展型MFGs，其中状态与控制存在联合交互，这是深度学习在MFGs中的一项新贡献。

实验结果

研究问题

• RQ1 能否设计一种单循环深度学习算法，比现有嵌套循环方法更高效地求解具有共同噪声的MFGs？
• RQ2 粗糙路径签名能否在不固定噪声路径的情况下有效编码共同噪声对平均场均衡的影响？
• RQ3 将虚构博弈与基于签名的表示相结合，能否在不重新训练的前提下准确捕捉共同噪声下的均衡策略？
• RQ4 所提出的方法能否处理共同噪声下状态与控制存在联合交互的扩展型MFGs？这一设置此前在深度学习中尚未被解决。
• RQ5 在实践中，签名深度M与虚构博弈阶段数n之间存在怎样的计算与收敛权衡？

主要发现

• 与嵌套算法相比，Sig-DFP显著降低了内存使用量与运行时间，支持高达(2^15, 2^15)条个体与共同噪声路径的训练，而嵌套方法在超过(2^8, 2^8)时因内存限制而失败。
• 在(INP, CNP) = (2^15, 2^15)时，Sig-DFP在控制和成本上的相对L²误差分别为11%和6%，而嵌套算法分别为79.4%和16.2%。
• Sig-DFP的运行时间随签名深度M与维度n₀的增长仅适度增加，例如在(n₀=5, M=4)时运行时间为2.6小时，显示出对更高维度的良好可扩展性。
• 对于一维问题，签名深度M=2时达到最优精度，因为控制与状态过程的对数近似为线性或二次，更高深度冗余。
• 在神经网络通用逼近性质下，当M与n趋于无穷时，Sig-DFP收敛至平均场均衡，且在三个基准问题上均获得强有力的实证支持。
• 本工作首次报告了针对具有共同噪声的扩展型MFGs的深度学习解决方案，其中平均场交互依赖于状态与控制，显著拓展了深度学习在MFGs中的应用范围。