[论文解读] Second-order Quantile Methods for Experts and Combinatorial Games

Wouter M. Koolen, Tim van Erven|arXiv (Cornell University)|Feb 27, 2015

Advanced Bandit Algorithms Research参考文献 30被引用 20

一句话总结

本文提出了 Squint 和 Component iProd 两种新型在线学习算法，结合了依赖于方差的二阶后悔界（second-order regret bounds）与依赖于专家质量先验知识的分位数界（quantile bounds），通过在学习率上使用分层先验。关键贡献在于首次实现了同时具备这两种改进的后悔界，并为均匀分布和对数均匀分布先验提供了高效实现。

ABSTRACT

We aim to design strategies for sequential decision making that adjust to the difficulty of the learning problem. We study this question both in the setting of prediction with expert advice, and for more general combinatorial decision tasks. We are not satisfied with just guaranteeing minimax regret rates, but we want our algorithms to perform significantly better on easy data. Two popular ways to formalize such adaptivity are second-order regret bounds and quantile bounds. The underlying notions of 'easy data', which may be paraphrased as "the learning problem has small variance" and "multiple decisions are useful", are synergetic. But even though there are sophisticated algorithms that exploit one of the two, no existing algorithm is able to adapt to both. In this paper we outline a new method for obtaining such adaptive algorithms, based on a potential function that aggregates a range of learning rates (which are essential tuning parameters). By choosing the right prior we construct efficient algorithms and show that they reap both benefits by proving the first bounds that are both second-order and incorporate quantiles.

研究动机与目标

• 设计自适应在线学习算法，在低方差或存在多个有用专家的简单数据上表现显著更优。
• 统一两种互补的自适应学习范式：基于方差的二阶后悔界与基于先验知识的专家选择分位数界。
• 提出一种通过学习率上的先验学习最优学习率的方法，实现对数据方差与专家质量的同步自适应。

提出的方法

• 提出一种潜在函数，通过在学习率 η 的范围内进行聚合，使用学习率参数 η 上的先验分布。
• 通过贝叶斯混合对 η 进行积分，推导出后悔界，其中先验编码了对最优学习率的假设。
• 将该方法应用于专家设置（Squint）和组合博弈（Component iProd），采用逐分量聚合策略。
• 使用指数网格离散化学习率，以在计算成本与后悔开销之间取得平衡。
• 采用均匀先验和对数均匀先验，实现高效算法并获得紧致的后悔界，包括对数均匀情形下的 Clr = ln ln T。
• 提出一种新颖的潜在函数，结合损失混合项与方差项，实现二阶分位数后悔界。

实验结果

研究问题

• RQ1 能否设计一种在线学习算法，同时适应低方差数据和多个高性能专家的存在？
• RQ2 是否可能设计一种单一算法，同时实现二阶后悔界与分位数后悔界？
• RQ3 如何自适应地学习学习率，以在简单与困难数据场景下均提升性能？
• RQ4 哪些学习率上的先验分布能产生高效算法并具备最优后悔保证？
• RQ5 该方法能否推广至专家建议之外的组合决策问题？

主要发现

• Squint 实现了形式为 RK_T ≺ √(V^K_T * (Clr - ln π(K))) 的后悔界，其中对数均匀先验下 Clr = ln ln T，同时结合了方差与分位数优势。
• 采用对数均匀先验的算法实现了 Clr = ln ln T，有效将 ln ln T 视为常数，从而同时实现二阶与分位数自适应。
• 对于均匀先验，算法效率高（每轮 K 次操作），且实现 Clr = ln V^K_T，仍能同时体现两种自适应特性。
• Component iProd 将方法扩展至组合博弈，实现二阶分位数后悔界，其后悔界为 R^v_T ≤ (4/√3)√(V^v_T * (△²(v||π) + K ln⌈1 + log₂T⌉)) + 4△²(v||π) + K max{4 ln⌈1 + log₂T⌉, 1}。
• 该方法表明，通过在 η 上使用先验学习最优学习率，可同时实现方差与分位数自适应，且理论保证在随机与有界损失设定下均成立。
• 该方法对损失归一化具有鲁棒性，可扩展至矩阵值预测与切换专家问题，表明其具有广泛适用性。