[论文解读] Online Isotonic Regression

Wojciech Kotłowski, Wouter M. Koolen+1 more|arXiv (Cornell University)|Mar 14, 2016

Advanced Bandit Algorithms Research参考文献 29被引用 4

一句话总结

本文提出了一种高效的在线算法，通过在同序函数的覆盖网之上使用指数加权法，实现了 $O(T^{1/3}\text{log}^{2/3}T)$ 的遗憾界，该界在对数因子范围内为最优。该方法在计算上高效，每轮时间复杂度为 $O(T^{4/3})$，并匹配一个 $\theta(T^{1/3})$ 的下界。

ABSTRACT

We consider the online version of the isotonic regression problem. Given a set of linearly ordered points (e.g., on the real line), the learner must predict labels sequentially at adversarially chosen positions and is evaluated by her total squared loss compared against the best isotonic (non-decreasing) function in hindsight. We survey several standard online learning algorithms and show that none of them achieve the optimal regret exponent; in fact, most of them (including Online Gradient Descent, Follow the Leader and Exponential Weights) incur linear regret. We then prove that the Exponential Weights algorithm played over a covering net of isotonic functions has a regret bounded by $O\big(T^{1/3} \log^{2/3}(T)\big)$ and present a matching $Ω(T^{1/3})$ lower bound on regret. We provide a computationally efficient version of this algorithm. We also analyze the noise-free case, in which the revealed labels are isotonic, and show that the bound can be improved to $O(\log T)$ or even to $O(1)$ (when the labels are revealed in isotonic order). Finally, we extend the analysis beyond squared loss and give bounds for entropic loss and absolute loss.

研究动机与目标

• 解决在线同序回归问题，即在点的线性有序集合上逐次进行预测，并使用平方损失。
• 阐明为何标准在线学习算法（如在线梯度下降和Follow the Leader）在此设置中失效，导致线性遗憾。
• 设计一种计算高效的算法，实现在在线同序回归设置下的次线性遗憾。
• 为一般情况和无噪声情况建立紧致的遗憾界，包括后者的最小最大遗憾。
• 将分析扩展至平方损失以外的损失函数，如熵损失和绝对损失。

提出的方法

• 在同序函数的离散化覆盖网 $\mathcal{F}_K$ 上应用指数加权算法，其中每个函数值被限制在 $K+1$ 个水平的有限集合中。
• 使用精心构造的取值网格 $z_k = \sin^2(\pi k / (2K))$（$k=0,\dots,K$）来定义覆盖网，以确保同序性并具备足够的分辨率。
• 通过信息论论证和标准指数加权遗憾分解，推导出遗憾的上界，并选择 $K \propto T^{1/3} \text{log}^{-1/3}T$ 来平衡各项。
• 证明遗憾的匹配 $\Omega(T^{1/3})$ 下界，表明该算法在对数因子范围内为最优。
• 通过增量维护和更新权重与预测，设计出每轮时间复杂度为 $O(T^{4/3})$ 的计算高效实现。
• 将框架扩展至非平方损失：对熵损失使用相同的离散化指数加权法，证明可达到 $O(T^{1/3}\text{log}^{2/3}T)$ 的遗憾；对绝对损失，证明指数梯度方法足以实现 $O(\sqrt{T\text{log}}T)$ 的遗憾。

实验结果

研究问题

• RQ1 为何标准在线学习算法（如在线梯度下降和Follow the Leader）在在线同序回归问题中失效，其导致线性遗憾的根本原因是什么？
• RQ2 在同序函数的覆盖网上使用离散化指数加权法，是否能在在线同序回归中实现次线性遗憾？若能，最优遗憾界是什么？
• RQ3 该 $O(T^{1/3}\text{log}^{2/3}T)$ 遗憾界是否紧致？能否建立匹配的下界以确认其最优性？
• RQ4 在真实标签为同序的无噪声情况下，遗憾如何变化？能否精确刻画最小最大遗憾？
• RQ5 该算法框架能否扩展至其他损失函数（如熵损失和绝对损失）？相应的遗憾界是什么？

主要发现

• 在同序函数的覆盖网上使用指数加权法，可实现 $O(T^{1/3}\text{log}^{2/3}T)$ 的遗憾界，该界在对数因子范围内为最优。
• 建立了 $\Omega(T^{1/3})$ 的匹配遗憾下界，证明所提算法在渐近意义下为最优。
• 在真实标签为同序的无噪声情况下，最小最大遗憾为 $O(\log T)$；若标签按同序顺序揭示，遗憾被限制在 $O(1)$。
• 该算法可高效实现，每轮时间复杂度为 $O(T^{4/3})$，适用于大规模在线学习。
• 对熵损失，使用离散化指数加权框架可实现相同的 $O(T^{1/3}\text{log}^{2/3}T)$ 遗憾界。
• 对绝对损失，指数梯度算法可实现 $O(\sqrt{T\text{log}}T)$ 的遗憾，该结果在 $O(\sqrt{\log T})$ 因子范围内为最优。