[论文解读] Solving Structured Hierarchical Games Using Differential Backward Induction

Zun Li, Feiran Jia+5 more|arXiv (Cornell University)|Jun 8, 2021

Opinion Dynamics and Social Influence参考文献 51被引用 7

一句话总结

本文提出了结构化层级博弈（SHGs），一种新型模型，用于建模顺序性、树状结构的战略互动，其中收益取决于玩家自身行动、其父节点的行动以及所有叶节点玩家的行动。该研究提出微分逆向归纳法（DBI），一种基于梯度的反向传播式算法，能高效近似子博弈完美均衡，在流行病政策、公共品和安全博弈等场景中，相较于基线方法展现出更优的收敛速度与稳定性。

ABSTRACT

From large-scale organizations to decentralized political systems, hierarchical strategic decision making is commonplace. We introduce a novel class of structured hierarchical games (SHGs) that formally capture such hierarchical strategic interactions. In an SHG, each player is a node in a tree, and strategic choices of players are sequenced from root to leaves, with root moving first, followed by its children, then followed by their children, and so on until the leaves. A player's utility in an SHG depends on its own decision, and on the choices of its parent and all the tree leaves. SHGs thus generalize simultaneous-move games, as well as Stackelberg games with many followers. We leverage the structure of both the sequence of player moves as well as payoff dependence to develop a gradient-based back propagation-style algorithm, which we call Differential Backward Induction (DBI), for approximating equilibria of SHGs. We provide a sufficient condition for convergence of DBI and demonstrate its efficacy in finding approximate equilibrium solutions to several SHG models of hierarchical policy-making problems.

研究动机与目标

• 建模组织和政治体系中自上而下决策传导、影响底层结果的层级战略决策过程。
• 形式化一类新博弈——结构化层级博弈（SHGs），通过在树结构中编码行动顺序与收益依赖关系，对同时行动博弈与Stackelberg博弈进行广义化。
• 开发一种可扩展的、可微的算法，用于近似SHGs中的子博弈完美均衡，克服传统最优响应动态的局限性。
• 在现实世界启发的层级政策制定问题（包括流行病控制、公共品供给与安全投资）上，实证验证所提方法的有效性。

提出的方法

• 提出结构化层级博弈（SHGs）作为博弈论模型，其中玩家为树中的节点，按从根到叶的顺序行动，收益取决于自身行动、父节点行动及所有叶节点行动。
• 提出微分逆向归纳法（DBI），一种梯度上升算法，通过树结构反向传播效用梯度，以类似神经网络反向传播的方式更新行动。
• 在相同层级的玩家（尤其是叶节点）上采用同步梯度更新，以实现在层级设置下的可扩展优化。
• 通过将DBI建模为动力系统，建立其收敛的充分条件，确保在效用函数满足一定光滑性与有界性条件下的稳定性。
• 使用投影算子以强制实施策略约束（如[0,1]边界），并将收敛定义为动作配置的稳定化或梯度消失。
• 采用带学习率调度与基于梯度范数及动作配置稳定性的收敛检测的投影梯度下降方案。

实验结果

研究问题

• RQ1 一种可微的、类似反向传播的算法能否有效近似复杂收益依赖关系下的层级博弈均衡？
• RQ2 DBI在收敛速度与稳定性方面相较于最优响应动态及其他基于梯度的基线方法表现如何？
• RQ3 DBI在具有连续动作空间与非线性效用函数的多层级层级博弈中，其可扩展性如何？
• RQ4 在双人零和Stackelberg博弈中，DBI是否如理论预期那样收敛至局部Stackelberg均衡？
• RQ5 DBI在解决现实世界层级政策制定问题（如流行病控制与公共品供给）方面效果如何？

主要发现

• DBI的收敛速度显著快于最优响应动态（BRD），在两级SHG问题中，即使采用粗粒度离散化，其收敛速度也超过两倍。
• 在包含11个离散化点的三级博弈中，DBI在运行时间与稳定性方面均优于BRD，尽管BRD对初始条件与随机性敏感。
• 在层级流行病政策制定模型中，DBI成功计算出稳定收敛的近似均衡，优于最先进的基于梯度的基线方法。
• 在Zachary的空手道俱乐部网络上的层级公共品博弈中，DBI在学习率为0.1且策略投影至[0,1]时实现稳定收敛，优于采用多级离散化的BRD。
• 在包含10名参与者的层级安全投资博弈中，DBI在低合规性（κ=0.1）与高自私性（κ=0.5）设置下均实现稳定收敛，策略边界被强制限制在[0,1]。
• 理论分析表明，DBI在满足充分条件时收敛至稳定点；在双人零和Stackelberg博弈中，其收敛至局部Stackelberg均衡。