[论文解读] Online Learning with Local Permutations and Delayed Feedback

Ohad Shamir, Liran Szlak|arXiv (Cornell University)|Mar 13, 2017

Advanced Bandit Algorithms Research参考文献 12被引用 4

一句话总结

该论文提出了在线学习中的局部排列（OLLP）框架，使学习者能够在有界距离 M 内重新排序损失函数，从而在延迟反馈设置下改善遗憾。该论文提出了一种基于镜像下降的算法，当 $ M \geq \tau $ 时，其遗憾界为 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $，在对抗性 $ O(\sqrt{\tau T}) $ 和随机性 $ O(\sqrt{T}) $ 性能之间实现插值，并通过匹配的下界表明，当 $ M < \tau/3 $ 时无法实现进一步改进。

ABSTRACT

We propose an Online Learning with Local Permutations (OLLP) setting, in which the learner is allowed to slightly permute the \emph{order} of the loss functions generated by an adversary. On one hand, this models natural situations where the exact order of the learner's responses is not crucial, and on the other hand, might allow better learning and regret performance, by mitigating highly adversarial loss sequences. Also, with random permutations, this can be seen as a setting interpolating between adversarial and stochastic losses. In this paper, we consider the applicability of this setting to convex online learning with delayed feedback, in which the feedback on the prediction made in round $t$ arrives with some delay $τ$. With such delayed feedback, the best possible regret bound is well-known to be $O(\sqrt{τT})$. We prove that by being able to permute losses by a distance of at most $M$ (for $M\geq τ$), the regret can be improved to $O(\sqrt{T}(1+\sqrt{τ^2/M}))$, using a Mirror-Descent based algorithm which can be applied for both Euclidean and non-Euclidean geometries. We also prove a lower bound, showing that for $M

研究动机与目标

• 为解决在延迟反馈在线学习中遗憾过高的挑战，其中标准遗憾界为对抗性设置下的 $ O(\sqrt{\tau T}) $。
• 探索在局部排列约束下对损失序列进行轻微重排，是否可以缓解最坏情况下的对抗性行为并提升学习性能。
• 通过引入一种灵活的框架，弥合对抗性与随机性在线学习之间的差距，实现在两者之间的插值。
• 通过证明下界，建立局部排列收益的理论极限，表明当 $ M < \tau/3 $ 时，无法实现显著改进。
• 通过实验验证所提算法，证明其在延迟反馈设置下的实际有效性。

提出的方法

• 提出在线学习中的局部排列（OLLP）设置，其中学习者可对损失函数进行重排，使得 $ \max_t |t - \sigma(t)| \leq M $，从而在有限范围内重排序列。
• 设计一种基于在线镜像下降的延迟排列镜像下降算法，适配处理延迟反馈与局部排列。
• 采用基于块的分析方法，将序列分解为大小为 $ \tau/3 $ 的区间，从而可应用集中不等式与条件期望。
• 应用Khintchine不等式，对最优固定预测器的损失期望和进行有界，表明当 $ M < \tau/3 $ 时，遗憾下界为 $ \Omega(\sqrt{\tau T}) $。
• 建立所提算法的遗憾界为 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $，随着 $ M $ 超过 $ \tau $ 而改善。
• 证明当 $ M \geq \tau $ 时，遗憾界在标准对抗性 $ O(\sqrt{\tau T}) $ 与随机性 $ O(\sqrt{T}) $ 范畴之间实现插值。

实验结果

研究问题

• RQ1 在延迟反馈在线学习中，对损失函数进行局部重排是否能改善遗憾？
• RQ2 通过局部排列所能实现的最佳遗憾改进是什么？其与排列半径 $ M $ 的关系如何？
• RQ3 局部排列的收益是否存在根本性限制？若存在，当 $ M $ 取何值时改进将不再显著？
• RQ4 所提算法是否能在延迟反馈下实现介于对抗性与随机性设置之间的遗憾界？
• RQ5 理论遗憾界 $ O(\sqrt{T}(1 + \sqrt{\tau^2/M})) $ 在欧几里得与非欧几里得几何下是否均成立？

主要发现

• 当 $ M \geq \tau $ 时，所提的延迟排列镜像下降算法实现了 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/M})\right) $ 的期望遗憾界，优于标准的 $ O(\sqrt{\tau T}) $。
• 当 $ M = \tau $ 时，遗憾界变为 $ O\left(\sqrt{T}(1 + \sqrt{\tau^2/\tau})\right) = O\left(\sqrt{T}(1 + \tau)\right) $，随着 $ \tau $ 增大而趋近于随机性情形。
• 遗憾界根据 $ M $ 相对于 $ \tau $ 的取值，在对抗性 $ O(\sqrt{\tau T}) $ 与随机性 $ O(\sqrt{T}) $ 范畴之间实现插值。
• 通过证明下界表明，当 $ M < \tau/3 $ 时，任何算法都无法实现优于 $ \Omega(\sqrt{\tau T}) $ 的遗憾（常数因子内），表明存在根本性限制。
• 分析确认，仅当 $ M \geq \tau $ 时，局部排列的改进才具有非平凡意义，而当 $ M $ 过小时，改进将显著减弱。
• 实验验证了算法的性能，表明理论上的收益在延迟反馈设置下可实际实现。