[论文解读] No-Regret Learning in Bayesian Games

Jason D. Hartline|arXiv (Cornell University)|Jul 2, 2015

Game Theory and Applications参考文献 12被引用 18

一句话总结

该论文证明，在贝叶斯博弈中，无遗憾学习动态收敛至贝叶斯粗相关均衡（Bayes-CCE），且在这些博弈中，平滑机制在 Bayes-CCE 下可实现近似最优的社会福利。通过将贝叶斯博弈建模为完全信息的随机博弈，作者将基于平滑性的福利保证从完全信息设置推广至不完全信息设置，证明了相同的福利边界在无遗憾学习结果中依然成立。

ABSTRACT

Recent price-of-anarchy analyses of games of complete information suggest that coarse correlated equilibria, which characterize outcomes resulting from no-regret learning dynamics, have near-optimal welfare. This work provides two main technical results that lift this conclusion to games of incomplete information, a.k.a., Bayesian games. First, near-optimal welfare in Bayesian games follows directly from the smoothness-based proof of near-optimal welfare in the same game when the private information is public. Second, no-regret learning dynamics converge to Bayesian coarse correlated equilibrium in these incomplete information games. These results are enabled by interpretation of a Bayesian game as a stochastic game of complete information.

研究动机与目标

• 将无遗憾学习与无效率价格理论从完全信息博弈推广至具有不完全信息的贝叶斯博弈。
• 建立无遗憾学习动态在重复贝叶斯博弈中收敛至贝叶斯粗相关均衡（Bayes-CCE）的结论。
• 证明在贝叶斯博弈中，平滑机制在 Bayes-CCE 下仍能维持近似最优的社会福利，推广完全信息下的平滑性结果。
• 形式化贝叶斯博弈与完全信息随机博弈之间的联系，以实现基于平滑性的福利保证的转移。

提出的方法

• 将贝叶斯博弈建模为一个随机博弈，其中自然状态随机抽取玩家类型，从而将不完全信息转化为完全信息的随机框架。
• 使用聚合博弈（AG）的概念，将所有可能的类型组合表示为完全信息博弈中的独立玩家。
• 证明：若机制在完全信息下为 (λ,μ)-平滑，则其在贝叶斯设定下的聚合版本同样为 (λ,μ)-平滑，且参数保持不变。
• 利用完全信息博弈中无遗憾学习收敛至粗相关均衡的已知结果，证明其在贝叶斯博弈中收敛至 Bayes-CCE。
• 应用平滑性框架推导 Bayes-CCE 的福利边界，证明期望福利至少为最优期望福利的 λ/max{1,μ}。
• 分析有限时间收敛速率，表明在 ϵ-遗憾下，经过 T* 步后，平均社会福利以高概率（1−ρ）接近平滑性边界，误差在 δ+μϵ 以内。

实验结果

研究问题

• RQ1 在贝叶斯博弈中，无遗憾学习动态是否能收敛至具有良好福利性质的有意义均衡概念？
• RQ2 在完全信息下机制的平滑性是否意味着其在贝叶斯扩展中也具有相同的福利保证？
• RQ3 能否通过无遗憾学习将无效率价格框架从完全信息博弈推广至贝叶斯博弈？
• RQ4 在平滑贝叶斯博弈中，无遗憾学习收敛至 Bayes-CCE 的有限时间收敛速率如何？
• RQ5 贝叶斯粗相关均衡（Bayes-CCE）的社会福利与贝叶斯博弈中的最优社会福利有何关系？

主要发现

• 在贝叶斯博弈中，无遗憾学习动态收敛至贝叶斯粗相关均衡（Bayes-CCE）。
• 若机制在完全信息下为 (λ,μ)-平滑，则其在贝叶斯设定下的聚合版本同样为 (λ,μ)-平滑。
• 在平滑贝叶斯博弈中，Bayes-CCE 实现的期望社会福利至少为最优期望福利的 λ/max{1,μ}。
• 对于任意 δ>0 和 ρ>0，以高概率（1−ρ）可得：在 T≥T* 轮的平均社会福利与平滑性边界之差不超过 δ+μϵ。
• 有限时间收敛速率 T* 的上界为 O(n³|Σ||V|²H³/δ³)log(2/ρ)，表明其对关键参数具有多项式依赖关系。
• 通过随机博弈的解释，该结果将基于平滑性的福利保证从完全信息博弈推广至不完全信息博弈。