[论文解读] Scale-Free Algorithms for Online Linear Optimization

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|Feb 19, 2015

Advanced Bandit Algorithms Research参考文献 25被引用 7

一句话总结

本文提出了一类无尺度的在线线性优化算法，能够自适应地调整损失向量范数，而无需事先知晓其上界。通过在FTRL框架中利用尺度不变性与自适应学习率，作者提出了AdaFTRL与SOLO FTRL，实现了最优的遗憾界，其规模与损失向量的对偶范数平方和的平方根成正比，即使在无界决策集下也成立。

ABSTRACT

We design algorithms for online linear optimization that have optimal regret and at the same time do not need to know any upper or lower bounds on the norm of the loss vectors. We achieve adaptiveness to norms of loss vectors by scale invariance, i.e., our algorithms make exactly the same decisions if the sequence of loss vectors is multiplied by any positive constant. Our algorithms work for any decision set, bounded or unbounded. For unbounded decisions sets, these are the first truly adaptive algorithms for online linear optimization.

研究动机与目标

• 解决现有在线线性优化算法缺乏自适应性的问题，这些算法需要预先知道损失向量范数。
• 设计尺度不变的算法，即在损失向量被任意正数缩放时，其决策保持不变。
• 为无界决策集提供首个在无损失向量范数上界假设下达到遗憾最优的在线线性优化算法。
• 通过引入原生的、不依赖加倍技巧的方法，弥合理论遗憾界与实际自适应性之间的差距。
• 将无尺度性质从专家预测推广至具有任意凸决策集的一般在线线性优化。

提出的方法

• 开发AdaFTRL，一种基于FTRL的算法，其自适应学习率由损失向量对偶范数的累积和导出。
• 提出SOLO FTRL，一种新颖的FTRL算法，其学习率依赖于迄今为止观察到的最大对偶范数，从而实现尺度不变性。
• 通过设计与累积对偶范数成反比的学习率，确保尺度不变性，从而在损失向量缩放下保持不变。
• 在FTRL框架中使用强凸正则化项，以在保持强遗憾保证的同时实现自适应学习率。
• 通过将遗憾分解为三项：正则化项、累积损失项与自适应学习率贡献项，分别利用关于范数与和的引理进行有界性证明。
• 应用坐标级学习率，将算法推广至结构化决策集，同时在各维度上保持尺度不变性。

实验结果

研究问题

• RQ1 能否在不预先设定损失向量范数上界的情况下，使在线线性优化算法真正自适应于未知且变化的损失向量范数？
• RQ2 是否可能为无界决策集设计尺度不变的在线线性优化算法，并获得非平凡的遗憾界？
• RQ3 无尺度算法的遗憾界与损失向量对偶范数的依赖关系，与理论下界相比如何？
• RQ4 能否自然地实现无尺度性质，而无需依赖加倍技巧或启发式修正？
• RQ5 在实现紧致遗憾界时，决策集的直径与正则化项上确界之间存在何种最优权衡？

主要发现

• AdaFTRL在有界决策集上实现了遗憾界 $ O\left(\sqrt{\sum_{t=1}^{T}\|\ell_t\|_*^2}\right) $，与损失向量对偶范数的最优依赖关系一致。
• SOLO FTRL实现了遗憾界 $ O\left(\max_{t \leq T}\|\ell_t\|_* \sqrt{T}\right) $，这是无界集合下的最优结果，且与最大损失向量范数成比例。
• 证明了在有界集合上，任何OLO算法的遗憾下界为 $ \Omega\left(D\sqrt{\sum_{t=1}^{T}\|\ell_t\|_*^2}\right) $，表明上界至多相差常数因子。
• 下界与上界之间的差距由比值 $ \sqrt{\sup_{v\in K}f(v)} / D $ 量化，其中 $ f $ 是1-强凸正则化项，凸显了正则化项选择的重要性。
• 所提出的算法是首个真正无尺度的无界决策集方法，克服了以往自适应算法依赖有界性或固定参数的局限。
• 坐标级学习率可应用于AdaFTRL与SOLO FTRL，推广并改进了结构化优化设置下的现有边界。