[论文解读] Nonzero-sum stochastic games and mean-field games with impulse controls

Matteo Basei, Haoyang Cao+1 more|arXiv (Cornell University)|Jan 23, 2019

Stochastic processes and financial applications参考文献 40被引用 11

一句话总结

本文提出了一种用于非零和随机博弈中脉冲控制的纳什均衡验证框架，建立了N人博弈的充分条件，并证明了平均场博弈（MFG）解可作为ϵ-纳什均衡，其中ϵ=O(1/√N)。该理论应用于双人现金管理博弈，表明竞争导致干预频率降低但干预幅度增大，从而提升控制效率。

ABSTRACT

We consider a general class of nonzero-sum $N$-player stochastic games with impulse controls, where players control the underlying dynamics with discrete interventions. We adopt a verification approach and provide sufficient conditions for the Nash equilibria (NEs) of the game. We then consider the limit situation of $N o \infty$, that is, a suitable mean-field game (MFG) with impulse controls. We show that under appropriate technical conditions, the existence of unique NE solution to the MFG, which is an $ε$-NE approximation to the $N$-player game, with $ε=O\left(\frac{1}{\sqrt{N}} ight)$. As an example, we analyze in details a class of two-player stochastic games which extends the classical cash management problem to the game setting. In particular, we present numerical analysis for the cases of the single player, the two-player game, and the MFG, showing the impact of competition on the player's optimal strategy, with sensitivity analysis of the model parameters.

研究动机与目标

• 通过验证方法，建立非零和N人随机博弈中脉冲控制的纳什均衡的充分条件。
• 分析当N→∞时的极限行为，推导出相应平均场博弈（MFG）中唯一纳什均衡存在的条件。
• 证明MFG解可作为N人博弈的ϵ-纳什均衡近似，其中ϵ=O(1/√N)。
• 通过双人现金管理博弈的详细分析，研究竞争对最优控制策略的影响。
• 对模型参数进行敏感性分析，并比较单人、双人及均场博弈设置下的最优策略。

提出的方法

• 使用带有脉冲控制的随机微分方程（带跳跃动态）构建N人脉冲控制博弈，跳跃由干预时刻的狄拉克函数驱动。
• 定义收益泛函，包含运行成本、个体控制成本，以及来自其他参与者干预的交叉影响成本。
• 推导出作为纳什均衡必要条件的拟变分不等式（QVIs）系统，由于脉冲控制引入非局部算子。
• 应用验证定理，证明在适当的正则性和边界条件下，QVIs的解对应于纳什均衡。
• 通过考虑状态经验分布在N→∞时的极限，构建平均场博弈极限，得到类似McKean–Vlasov的公式。
• 在系数和控制的适当技术假设下，证明MFG解是N人博弈的ϵ-纳什均衡，其中ϵ=O(1/√N)。

实验结果

研究问题

• RQ1 在非零和N人随机博弈中，脉冲控制的纳什均衡在何种条件下存在？
• RQ2 此类博弈的平均场博弈极限与原始N人博弈在均衡近似方面有何关系？
• RQ3 MFG解向N人博弈的ϵ-纳什均衡的收敛速率是多少？
• RQ4 与单智能体情形相比，竞争如何改变最优脉冲控制策略？
• RQ5 控制成本、波动率和贴现率的变化如何影响博弈中阈值和状态过程的长期行为？

主要发现

• 本文通过拟变分不等式（QVIs）系统，建立了N人脉冲控制随机博弈中纳什均衡的验证定理。
• 在适当的技術條件下，平均場博弈（MFG）的解是N人博弈的ϵ-納什均衡，其中ϵ=O(1/√N)。
• 在雙人現金管理博弈中，競爭導致干預頻率降低但干預幅度增大，與單人情況相比。
• 敏感性分析表明，增加狀態降低的固定成本（K⁻）會提高非作用區間的上界（u），從而降低干預頻率。
• 增加狀態增加的固定成本（K⁺）會降低下界（d），同樣減少干預頻率，且K⁻與K⁺的增加均導致干預幅度增大。
• 更高的波動率（σ）或貼現率（r）會導致干預頻率降低和干預幅度增大，其中平均狀態水平隨σ增加而上升，隨r先增加後減少。