[论文解读] Relax and Localize: From Value to Algorithms

Alexander Rakhlin, Ohad Shamir+1 more|arXiv (Cornell University)|Apr 4, 2012

Advanced Bandit Algorithms Research参考文献 23被引用 8

一句话总结

本文提出了一套原则性框架，直接从极小化极大分析推导在线学习算法，将非构造性的后悔界转化为可操作的算法。通过利用序列Rademacher复杂度的松弛化方法并引入局部化复杂度度量，该方法实现了更快的收敛速率，并恢复或改进了已知方法，如Follow the Perturbed Leader和带核范数正则化的矩阵补全算法。

ABSTRACT

We show a principled way of deriving online learning algorithms from a minimax analysis. Various upper bounds on the minimax value, previously thought to be non-constructive, are shown to yield algorithms. This allows us to seamlessly recover known methods and to derive new ones. Our framework also captures such "unorthodox" methods as Follow the Perturbed Leader and the R^2 forecaster. We emphasize that understanding the inherent complexity of the learning problem leads to the development of algorithms. We define local sequential Rademacher complexities and associated algorithms that allow us to obtain faster rates in online learning, similarly to statistical learning theory. Based on these localized complexities we build a general adaptive method that can take advantage of the suboptimality of the observed sequence. We present a number of new algorithms, including a family of randomized methods that use the idea of a "random playout". Several new versions of the Follow-the-Perturbed-Leader algorithms are presented, as well as methods based on the Littlestone's dimension, efficient methods for matrix completion with trace norm, and algorithms for the problems of transductive learning and prediction with static experts.

研究动机与目标

• 弥合非构造性极小化极大后悔界与实际在线学习算法之间的鸿沟。
• 通过松弛化技术，形式化序列复杂度度量与算法设计之间的联系。
• 提出一种序列Rademacher复杂度的局部化分析，以在在线学习中实现更快的收敛速率。
• 将多种算法——包括Follow the Perturbed Leader和随机走子方法——统一于单一理论框架之下。
• 设计自适应、依赖数据的算法，以利用对抗序列中的次优性，从而提升性能。

提出的方法

• 通过序列Rademacher复杂度的松弛化，从极小化极大值推导算法，将极小化极大值视为算法设计的代理。
• 引入局部序列Rademacher复杂度作为工具，以实现快速率，类似于统计学习理论中的局部化复杂度。
• 提出一种基于松弛化的元算法，可实例化为已知和新型的在线学习方法。
• 采用基于理论分析的随机走子机制，为Follow the Perturbed Leader等方法的最优性提供理论依据。
• 开发一种自适应算法，动态检测所观察序列是否为极小化极大最优，并相应调整策略。
• 将该框架应用于具体问题，如带核范数的矩阵补全、归纳学习以及使用定制化松弛化的静态专家预测问题。

实验结果

研究问题

• RQ1 非构造性极小化极大后悔界能否系统性地转化为实际的在线学习算法？
• RQ2 如何定义并使用局部化序列Rademacher复杂度，以在在线学习中推导出更快的收敛速率？
• RQ3 随机方法（如Follow the Perturbed Leader和随机走子）在在线学习中的理论基础是什么？
• RQ4 能否通过单一自适应框架检测并利用对抗序列中的次优行为，以改进后悔保证？
• RQ5 如何利用极小化极大值的松弛化来统一和推广现有的在线学习算法？

主要发现

• 本文证明，极小化极大值的松弛化对应于有效算法，从而能够从理论边界推导出在线学习方法。
• 引入了局部序列Rademacher复杂度，并证明其可上界在线学习博弈的值，从而在有利条件下实现快速率。
• 该框架将已知算法（如Follow the Perturbed Leader和$R^2$预测器）作为所提出的基于松弛化的元算法的特例恢复。
• 推导出一类基于随机走子的新随机算法，其理论依据根植于松弛化框架。
• 开发了一种自适应算法，可检测对抗者行为的次优性，并相应调整学习策略，从而在良性序列中改善后悔。
• 该方法在诸如核范数矩阵补全和静态专家预测等问题上，实现了更优的后悔界和计算效率。