[论文解读] On The Convergence of a Nash Seeking Algorithm with Stochastic State Dependent Payoff

Ahmed Farhan Hanif, Hamidou Tembiné+2 more|arXiv (Cornell University)|Sep 30, 2012

Extremum Seeking Control Systems参考文献 12被引用 9

一句话总结

该论文提出了一种用于具有随机、状态相关收益的非合作博弈的分布式纳什均衡寻求算法，采用正弦扰动和随机逼近方法。在步长趋于零的条件下，建立了几乎必然收敛到一个极限常微分方程（ODE）轨迹的结果，并为固定步长提供了误差界，将先前的确定性梯度方法扩展到无线网络中存在噪声和状态依赖的环境。

ABSTRACT

Distributed strategic learning has been getting attention in recent years. As systems become distributed finding Nash equilibria in a distributed fashion is becoming more important for various applications. In this paper, we develop a distributed strategic learning framework for seeking Nash equilibria under stochastic state-dependent payoff functions. We extend the work of Krstic et.al. in [1] to the case of stochastic state dependent payoff functions. We develop an iterative distributed algorithm for Nash seeking and examine its convergence to a limiting trajectory defined by an Ordinary Differential Equation (ODE). We show convergence of our proposed algorithm for vanishing step size and provide an error bound for fixed step size. Finally, we conduct a stability analysis and apply the proposed scheme in a generic wireless networks. We also present numerical results which corroborate our claim.

研究动机与目标

• 开发一种分布式学习算法，使其在具有随机、状态相关收益函数的非合作博弈中收敛到纳什均衡。
• 将现有的基于梯度的纳什寻求方法扩展到仅能获取噪声性、基于样本的收益观测值而无法获得梯度信息的场景。
• 在最小假设条件下，建立理论收敛性质，特别是当步长趋于零时，几乎必然收敛到ODE极限，以及在固定步长下的误差界。
• 在典型的无线网络设置中验证该算法，并通过数值结果展示其鲁棒性。

提出的方法

• 该算法利用正弦扰动，在真实梯度未知的随机、状态相关环境中估计收益函数的梯度。
• 采用时间可变步长的随机逼近框架，将动作演化建模为带有扰动的随机过程。
• 收敛性分析基于弱收敛理论，表明插值过程在步长趋于零时收敛到ODE的解。
• 使用离散Gronwall不等式和Burkholder不等式，界定扰动与无扰动轨迹之间的误差，确保稳定性。
• 通过投影算子将动作保持在有界区间内，确保在实际应用中的可行性。
• 理论结果基于状态空间紧致性以及收益函数及其梯度的Lipschitz连续性等假设推导得出。

实验结果

研究问题

• RQ1 当仅能获取噪声性、基于样本的收益观测值而无法获得梯度信息时，分布式纳什均衡寻求算法是否仍能收敛？
• RQ2 在步长趋于零和固定步长条件下，该算法的行为如何？能否为固定步长建立误差界？
• RQ3 在存在状态依赖性和噪声的环境中，随机扰动方法是否能确保收敛到极限ODE轨迹？
• RQ4 在无线网络应用示例中，确保有效增益矩阵可逆的条件是什么？
• RQ5 在具有随机信道增益的真实无线网络环境中，该算法表现如何？

主要发现

• 当步长趋于零时，所提出的算法几乎必然收敛到由常微分方程（ODE）描述的极限轨迹。
• 对于固定步长，算法实现了阶为O(√λ)的误差界，其中λ为步长，表明当λ → 0时误差趋于零。
• 理论分析证实，插值过程弱收敛于ODE的解，该结论得到Burkholder不等式和离散Gronwall不等式的支持。
• 在每行中对角线增益大于非对角线元素之和的条件下，可证明期望信道增益矩阵Ḡ可逆。
• 在无线网络应用中的数值结果验证了理论收敛性和稳定性，表明在随机、状态相关收益下具有鲁棒性能。
• 由于动作被投影到有界区间[0, a_max]内，该算法保持可行性和稳定性，确保了实际可实施性。