[论文解读] Payoff Dynamics Model and Evolutionary Dynamics Model: Feedback and Convergence to Equilibria

Shinkyu Park, Nuno C. Martins+1 more|arXiv (Cornell University)|Mar 5, 2019

Evolutionary Game Theory and Cooperation被引用 14

一句话总结

本文提出了一套系统理论框架，通过建模收益机制与策略更新协议之间的反馈，统一了演化博弈与群体博弈的动力学。该框架利用李雅普诺夫稳定性与无源性理论，建立了在一般动态收益机制下系统收敛至纳什均衡的严格条件，扩展了先前工作，允许更广泛的收益动力学形式，并通过存储函数与谱分析证明了鲁棒性。

ABSTRACT

This tutorial article puts forth a framework to analyze the noncooperative strategic interactions among the members of a large population of bounded rationality agents. Our approach hinges on, unifies and generalizes existing methods and models predicated in evolutionary and population games. It does so by adopting a system-theoretic formalism that is well-suited for a broad engineering audience familiar with the basic tenets of nonlinear dynamical systems, Lyapunov stability, storage functions, and passivity. The framework is pertinent for engineering applications in which a large number of agents have the authority to select and repeatedly revise their strategies. A mechanism that is inherent to the problem at hand or is designed and implemented by a coordinator ascribes a payoff to each possible strategy. Typically, the agents will prioritize switching to strategies whose payoff is either higher than the current one or exceeds the population average. The article puts forth a systematic methodology to characterize the stability of the dynamical system that results from the feedback interaction between the payoff mechanism and the revision process. This is important because the set of stable equilibria is an accurate predictor of the population's long-term behavior. The article includes rigorous proofs and examples of application of the stability results, which also extend the state of the art because, unlike previously published work, they allow for a rather general class of dynamical payoff mechanisms. The new results and concepts proposed here are thoroughly compared to previous work, methods and applications of evolutionary and population games.

研究动机与目标

• 开发一个统一的系统理论框架，用于分析大规模有限理性个体之间的非合作战略互动。
• 表征群体博弈中动态收益机制与策略更新协议之间反馈互联系统的稳定性。
• 通过允许一类广义的动态收益机制（不限于静态或线性形式），扩展演化博弈与群体博弈理论的现有结果。
• 利用李雅普诺ov函数、存储函数与无源性理论，提供适用于确定性与随机设定的严格稳定性条件。
• 在较弱假设下建立收敛至纳什均衡的条件，基于谱性质与矩阵不等式给出明确的判据。

提出的方法

• 将群体状态建模为由更新协议与收益函数导出的常微分方程所决定的确定性平均场轨迹。
• 引入收益动态模型（PDM），将时变收益表示为具有输入-输出结构的动态系统，适用于无源性分析。
• 应用无源性理论与李雅普诺夫稳定性分析PDM与更新协议之间的反馈互联系统，确保收敛至均衡。
• 利用勒让德共轭对偶性与凸分析定义存储函数，并证明PDM的δ-反无源性，从而实现稳定性认证。
• 通过涉及零和子空间TC中复向量的频域不等式，推导系统矩阵F的谱条件，确保在各种参数配置下的稳定性。
• 采用变换将稳定性条件转化为频域中的二次不等式，对所有实频率与切空间TX中的向量均成立。

实验结果

研究问题

• RQ1 在何种条件下，一般动态收益机制与策略更新协议之间的反馈互联系统会收敛至纳什均衡？
• RQ2 如何系统地应用无源性与李雅普诺夫稳定性分析具有时变收益的群体博弈动力学的收敛性？
• RQ3 PDM的δ-反无源性的必要与充分条件是什么？它们与系统稳定性有何关联？
• RQ4 系统矩阵F的谱特性（特别是μ与α的关系）如何影响均衡集的稳定性？
• RQ5 所提出的框架在哪些方面推广了演化博弈理论的现有结果，特别是关于允许的收益动态类别的扩展？

主要发现

• 该框架证明：若收益动态模型为δ-反无源，且更新协议稳定，则在系统参数的弱条件下，系统将收敛至纳什均衡。
• 当频域不等式对所有实频率与零和子空间TC中的向量均成立时，稳定性可得到保证。
• 关键不等式简化为对F的二次型条件，确保对所有ω ∈ ℝ与z ∈ TX，有z^T F z ≤ λ* (α² + ω²)/(α² + μ̄ω²) z^T z，其中λ* = 0或λ* > 0，且μ̄ ≤ 1。
• 当μ̄ > 1且λ* > 0时，若不等式按μ̄缩放，条件依然成立，证明了在更广泛的参数范围内保持稳定性。
• 证明表明，f的Legendre共轭定义域的内部在轨迹上保持正不变，从而确保对偶变量在整个轨迹中存在且正则。
• 该框架通过允许任意动态收益机制（而不仅限于静态或线性形式），推广了先前结果，并利用系统理论工具提供了统一的稳定性分析。