[论文解读] Towards Minimax Online Learning with Unknown Time Horizon

Haipeng Luo, Robert E. Schapire|arXiv (Cornell University)|Jul 31, 2013

Advanced Bandit Algorithms Research参考文献 28被引用 14

一句话总结

本文提出了一种基于极小化极大（minimax）的自适应算法，用于处理时间跨度未知的在线学习问题。通过引入随机时间跨度模型，推导出一种策略，该策略在实际时间跨度未知的情况下仍能保持最优最坏情况下的遗憾。通过将时间跨度视为从特定分布族中随机抽取，该算法在无需重启的情况下实现了最优遗憾率，实验结果表明其性能优于现有方法（如加倍技巧）。

ABSTRACT

We consider online learning when the time horizon is unknown. We apply a minimax analysis, beginning with the fixed horizon case, and then moving on to two unknown-horizon settings, one that assumes the horizon is chosen randomly according to some known distribution, and the other which allows the adversary full control over the horizon. For the random horizon setting with restricted losses, we derive a fully optimal minimax algorithm. And for the adversarial horizon setting, we prove a nontrivial lower bound which shows that the adversary obtains strictly more power than when the horizon is fixed and known. Based on the minimax solution of the random horizon setting, we then propose a new adaptive algorithm which "pretends" that the horizon is drawn from a distribution from a special family, but no matter how the actual horizon is chosen, the worst-case regret is of the optimal rate. Furthermore, our algorithm can be combined and applied in many ways, for instance, to online convex optimization, follow the perturbed leader, exponential weights algorithm and first order bounds. Experiments show that our algorithm outperforms many other existing algorithms in an online linear optimization setting.

研究动机与目标

• 在博弈论的极小化极大框架下，解决时间跨度未知的在线学习问题。
• 开发一种策略，即使在时间跨度事先未知的情况下，也能保持最优的遗憾性能。
• 克服加倍技巧的局限性，后者因重复重启和信息丢失而效率低下。
• 证明当对手控制时间跨度时，其控制力增强，导致最优遗憾严格高于固定时间跨度情形下的遗憾。
• 提出一种实用的自适应算法，通过假设时间跨度来自特定分布族，实现对所有时间跨度均表现良好的统一性能。

提出的方法

• 在基向量损失空间下，推导固定时间跨度情形下的极小化极大最优策略。
• 将极小化极大分析扩展至随机时间跨度设置，证明最优策略是固定时间跨度策略的条件期望。
• 提出一种新型自适应算法，假设时间跨度来自特定分布族，但无论实际时间跨度如何，均能实现最优最坏情况遗憾。
• 证明即使时间跨度由对手恶意选择，该算法的遗憾仍为最优阶 O(√T ln N)。
• 将所提方法与现有算法（如跟随扰动领导者、指数加权法、在线凸优化）相结合。
• 在对手控制时间跨度的设定下，使用缩放遗憾作为性能度量，以避免遗憾趋于无穷。

实验结果

研究问题

• RQ1 当时间跨度未知且由对手恶意选择时，能否推导出在线学习的极小化极大策略？
• RQ2 在对手控制时间跨度的设定下，最优遗憾是多少？其与固定时间跨度情形下的遗憾相比有何差异？
• RQ3 假设时间跨度来自特定分布族，是否能获得一种极小化极大最优策略，使其在任意实际时间跨度下均表现良好？
• RQ4 所提算法能否推广至超出 Hedge 问题的其他在线学习设定？
• RQ5 所提算法在实验上与现有自适应方法（如加倍技巧）相比表现如何？

主要发现

• 在随机时间跨度设定下，极小化极大策略是固定时间跨度极小化极大策略的条件期望，从而在该模型下提供了完全最优的解决方案。
• 在对手控制时间跨度的设定下，最优遗憾严格高于固定时间跨度情形，证明了对手因控制时间跨度而获得了额外的控制力。
• 所提出的自适应算法无论实际时间跨度如何选择（即使由对手恶意控制），其最坏情况遗憾均为最优阶 O(√T ln N)。
• 在在线线性优化实验中，该算法优于现有方法（如加倍技巧），表现出更低的遗憾。
• 该方法具有通用性，可与指数加权法、跟随扰动领导者法以及一阶遗憾界相结合。
• 该方法对未知信息（如最优动作的损失）具有鲁棒性，可实现一阶遗憾界。