[论文解读] On an unified framework for approachability in games with or without signals

Vianney Perchet, Marc Quincampoix|arXiv (Cornell University)|Jan 16, 2013

Advanced Bandit Algorithms Research参考文献 18被引用 5

一句话总结

本文通过引入一种新颖的抽象博弈——纯粹信息博弈，将完全监控与部分监控重复博弈中的可逼近性理论统一起来，其中玩家的最大信息以概率测度形式表示。该文建立了任意闭集可逼近性的必要且充分条件，扩展了Blackwell的经典结果，并在一类特殊博弈中为凸集提供了显式收敛速率的完整刻画。

ABSTRACT

We unify standard frameworks for approachability both in full or partial monitoring by defining a new abstract game, called the "purely informative game", where the outcome at each stage is the maximal information players can obtain, represented as some probability measure. Objectives of players can be rewritten as the convergence (to some given set) of sequences of averages of these probability measures. We obtain new results extending the approachability theory developed by Blackwell moreover this new abstract framework enables us to characterize approachable sets with, as usual, a remarkably simple and clear reformulation for convex sets. Translated into the original games, those results become the first necessary and sufficient condition under which an arbitrary set is approachable and they cover and extend previous known results for convex sets. We also investigate a specific class of games where, thanks to some unusual definition of averages and convexity, we again obtain a complete characterization of approachable sets along with rates of convergence.

研究动机与目标

• 通过引入统一的抽象框架，统一现有在完全监控与部分监控重复博弈中的可逼近性理论。
• 基于最大信息（旗标）作为概率测度的新形式化方法，刻画不完全信息博弈中的可逼近集。
• 通过推导任意闭集可逼近性的必要且充分条件，将Blackwell的可逼近性理论扩展至非凸集。
• 在特定一类博弈中，通过重新定义平均与凸性，推导出可逼近集的完整刻画及其收敛速率。

提出的方法

• 引入纯粹信息博弈，其中每阶段的结果是玩家1可获得的最大信息，以单纯形中概率测度的旗标形式表示。
• 将可逼近性定义为这些旗标的经验平均在概率测度空间中收敛至目标集合。
• 基于Kantorovitch势函数与最优传输的对偶性论证，推导出可逼近性的必要且充分条件。
• 应用Von Neumann的极小化极大定理，将可逼近性条件转化为涉及测度及其投影的几何可行性问题。
• 引入集合值映射中新的“次级点”与“不动点”概念，证明无次级点的集合为B-集，从而建立必要且充分条件。
• 在一类特殊博弈中，通过使用Wasserstein型距离重新定义平均与凸性，推导出可逼近集的显式收敛速率。

实验结果

研究问题

• RQ1 在部分监控重复博弈中，任意闭集可逼近性的最小几何条件是什么？
• RQ2 如何在完全监控与部分监控框架之间统一刻画可逼近性？
• RQ3 能否推导出一个可逼近性的必要且充分条件，使其推广Blackwell的B-集条件至非凸集？
• RQ4 最大信息（旗标）在决定可逼近性可行性中起什么作用？
• RQ5 在一类特殊博弈中，当使用重新定义的凸性与平均概念时，可逼近集的收敛速率是多少？

主要发现

• 本文建立了在带信号或不带信号的重复博弈中，任意闭集可逼近性的必要且充分条件，推广了Blackwell的B-集条件。
• 对于凸集，新框架恢复并扩展了Blackwell的结果，提供了统一且简化的刻画。
• 可逼近性条件被重新表述为涉及测度及其投影的几何可行性问题，借助对偶性与最优传输工具实现。
• 在特定一类博弈中，作者通过使用Wasserstein距离重新定义凸性与平均，推导出可逼近集的显式收敛速率。
• 若一个集合中不存在次级点，则其为B-集，且该不动点性质为抽象框架中可逼近集提供了完整刻画。
• 纯粹信息博弈框架实现了对可逼近性的清晰、统一处理，涵盖完全监控与部分监控两种情形。