[论文解读] Online Paging with a Vanishing Regret

Yuval Emek, Shay Kutten+1 more|arXiv (Cornell University)|Nov 18, 2020

Optimization and Search Problems参考文献 24被引用 2

一句话总结

本文提出了一种随机化在线页面置换算法，通过利用多个不准确的预测器（每个预测器预测页面的下次访问时间，即 NAT），实现了时间平均 regret 的趋近于零。在至少一个预测器随时间累积的预测误差为次线性误差的假设下，该算法在全信息和 bandit 访问模型中均能确保 regret 随时间趋于零，并给出了紧致的 regret 边界。

ABSTRACT

This paper considers a variant of the online paging problem, where the online algorithm has access to multiple predictors, each producing a sequence of predictions for the page arrival times. The predictors may have occasional prediction errors and it is assumed that at least one of them makes a sublinear number of prediction errors in total. Our main result states that this assumption suffices for the design of a randomized online algorithm whose time-average regret with respect to the optimal offline algorithm tends to zero as the time tends to infinity. This holds (with different regret bounds) for both the full information access model, where in each round, the online algorithm gets the predictions of all predictors, and the bandit access model, where in each round, the online algorithm queries a single predictor. While online algorithms that exploit inaccurate predictions have been a topic of growing interest in the last few years, to the best of our knowledge, this is the first paper that studies this topic in the context of multiple predictors for an online problem with unbounded request sequences. Moreover, to the best of our knowledge, this is also the first paper that aims for (and achieves) online algorithms with a vanishing regret for a classic online problem under reasonable assumptions.

研究动机与目标

• 设计一种即使在预测不准确的情况下也能实现 regret 趋近于零的在线页面置换算法。
• 将多预测器的在线学习方法扩展至请求序列无界的经典页面置换问题。
• 在次线性预测误差假设下，为 regret 最小化建立理论保证。
• 通过实现经典在线问题中趋近于零的 regret，弥合现有文献中的空白，采用更符合现实的预测模型。

提出的方法

• 该算法使用多个预测器，每个预测器为每一页提供其下次访问时间（NAT）的预测。
• 通过受多臂赌博机和专家聚合技术启发的随机化在线过程，整合多个预测结果。
• 在全信息模型中，应用定理 4.7（BB00）将 M 个遵循预测器的算法混合，其 regret 上界为 O(√(kT log M) + ηmin + k)。
• 在 bandit 模型中，采用上下文赌博机风格的策略，自适应地查询并从各个预测器中学习。
• 该算法根据预测的未来访问时间动态调整其驱逐策略，以最小化缓存未命中次数。
• 其核心依赖于次线性误差假设：至少一个预测器在长时间内产生的误差为 o(T)，从而确保长期性能接近最优。

实验结果

研究问题

• RQ1 当依赖多个不准确的预测器时，能否使在线页面置换算法实现趋近于零的 regret？
• RQ2 在次线性预测误差假设下，全信息模型与 bandit 模型中的性能保证分别是什么？
• RQ3 预测器的数量及其预测准确度如何影响 regret 上界？
• RQ4 在存在预测误差的情况下，随机化在线算法是否能优于确定性策略？
• RQ5 是否可能设计一种算法，使其时间平均 regret 随着时间趋于无穷而趋近于零，即使预测不完美？

主要发现

• 在全信息模型中，所提算法的 regret 为 O(√(kT log M) + ηmin + k)，其中 ηmin 为所有预测器中预测误差最少的数量。
• 在 bandit 模型中，regret 上界为 O(kT^{2/3}√M + ηmin)，表明在有限反馈下仍具可行性。
• 在至少一个预测器产生 o(T) 预测误差的假设下，时间平均 regret 随 T → ∞ 而趋于零。
• 即使预测不完美，该算法的性能在长期运行中仍趋近于最优离线 FitF 算法的性能。
• 理论分析表明，次线性预测误差足以实现 regret 趋近于零，说明该方法对模型不准确性具有鲁棒性。
• 本文首次在现实预测假设下，为经典在线问题建立了趋近于零 regret 的结果。