[论文解读] Response-Based Approachability and its Application to Generalized No-Regret Algorithms

Andrey Bernstein, Nahum Shimkin|arXiv (Cornell University)|Dec 30, 2013

Advanced Bandit Algorithms Research参考文献 25被引用 5

一句话总结

本文提出了一种新颖的可接近性算法，用基于响应的策略替代基于投影的计算，采用布莱克韦尔的对偶条件而非原始的几何分离条件。该方法在广义无遗憾问题（如带约束的遗憾最小化和全局代价函数优化）中实现了高效计算——在投影计算代价高昂但响应计算简便的场景下，首次实现了这些场景下的计算高效算法。

ABSTRACT

Approachability theory, introduced by Blackwell (1956), provides fundamental results on repeated games with vector-valued payoffs, and has been usefully applied since in the theory of learning in games and to learning algorithms in the online adversarial setup. Given a repeated game with vector payoffs, a target set $S$ is approachable by a certain player (the agent) if he can ensure that the average payoff vector converges to that set no matter what his adversary opponent does. Blackwell provided two equivalent sets of conditions for a convex set to be approachable. The first (primary) condition is a geometric separation condition, while the second (dual) condition requires that the set be {\em non-excludable}, namely that for every mixed action of the opponent there exists a mixed action of the agent (a {\em response}) such that the resulting payoff vector belongs to $S$. Existing approachability algorithms rely on the primal condition and essentially require to compute at each stage a projection direction from a given point to $S$. In this paper, we introduce an approachability algorithm that relies on Blackwell's {\em dual} condition. Thus, rather than projection, the algorithm relies on computation of the response to a certain action of the opponent at each stage. The utility of the proposed algorithm is demonstrated by applying it to certain generalizations of the classical regret minimization problem, which include regret minimization with side constraints and regret minimization for global cost functions. In these problems, computation of the required projections is generally complex but a response is readily obtainable.

研究动机与目标

• 开发一种新型可接近性算法，通过依赖响应映射而非几何投影，避免计算代价高昂的投影步骤。
• 解决诸如带侧约束的遗憾最小化和全局代价函数优化等广义无遗憾问题，其中标准投影方法不可行。
• 证明在这些广义设定下，响应计算是计算上可行的，而投影计算仍具复杂性。
• 为依赖校准预测或直接投影至目标集的现有算法提供计算高效的替代方案。
• 通过基于响应的计算，将可接近性理论的应用范围扩展至连续动作和随机博弈模型。

提出的方法

• 该算法基于布莱克韦尔的对偶可接近性条件，要求：对对手的每种混合策略，均存在一个对应的代理动作，使得期望收益向量落在目标集中。
• 在每个阶段，代理计算对对手当前混合策略的响应，而非将当前平均收益向量投影到目标集上。
• 推进方向由响应而非投影导出，使用布莱克韦尔原始可接近性算法的改进版本。
• 通过在平均收益已满足目标条件时将推进方向的分量置零，该方法被调整以处理无界目标集。
• 对于凸约束集，响应计算简化为求解凸规划问题；对于多面体约束，其转化为线性规划问题。
• 通过修改推进方向以满足可行性约束，该算法被扩展用于处理多目标问题，如收益/成本最大化和带约束的收益最大化。

实验结果

研究问题

• RQ1 是否可以通过依赖响应映射而非计算至目标集的投影，实现可接近性？
• RQ2 在具有复杂约束的广义无遗憾问题中，响应计算是否比投影计算更高效？
• RQ3 能否有效利用可接近性的对偶条件，设计计算高效的机器学习算法？
• RQ4 基于响应的方法是否在与标准投影算法相同的条件下，保持对目标集的几乎必然收敛？
• RQ5 该方法能否扩展至具有双线性收益函数的连续动作和随机博弈模型？

主要发现

• 所提出的基于响应的算法通过依赖响应映射的存在性并满足布莱克韦尔的对偶条件，实现了对凸目标集的可接近性，而无需几何投影。
• 在带约束的遗憾最小化问题中，该算法避免了先前工作中所需的计算困难的校准预测，转而计算对对手混合策略的最佳响应。
• 在具有全局代价函数的问题中，响应计算简化为求解一个可高效求解的凸规划问题，而投影至可接受集的凸包则计算代价高昂。
• 该算法在与标准布莱克韦尔算法相同的条件下保持收敛性，确保平均收益向量几乎必然收敛至目标集。
• 该方法可扩展至动作属于凸集且收益函数为双线性的连续动作模型，在保持收敛性和计算效率的同时适用。
• 对推进方向的修改（如在当前平均值已满足或超过目标阈值时将分量置零）可提升效率，且不损害收敛性。