[论文解读] Online Algorithms for Multi-shop Ski Rental with Machine Learned Advice

Shufan Wang, Li, Jian+1 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Bandit Algorithms Research参考文献 17被引用 4

一句话总结

本文提出了多店滑雪租赁（MSSR）问题的确定性和随机在线算法，通过整合机器学习（ML）预测，实现一致性与鲁棒性之间的平滑权衡。通过使用信任参数 λ 来平衡 ML 建议与最坏情况保证，该算法在预测准确时显著优于传统在线方法，同时对预测质量较差的情况仍保持鲁棒性。

ABSTRACT

We study the problem of augmenting online algorithms with machine learned (ML) advice. In particular, we consider the \emph{multi-shop ski rental} (MSSR) problem, which is a generalization of the classical ski rental problem. In MSSR, each shop has different prices for buying and renting a pair of skis, and a skier has to make decisions on when and where to buy. We obtain both deterministic and randomized online algorithms with provably improved performance when either a single or multiple ML predictions are used to make decisions. These online algorithms have no knowledge about the quality or the prediction error type of the ML prediction. The performance of these online algorithms are robust to the poor performance of the predictors, but improve with better predictions. Extensive experiments using both synthetic and real world data traces verify our theoretical observations and show better performance against algorithms that purely rely on online decision making.

研究动机与目标

• 为解决传统在线算法在现实场景中面临的局限性，即未来输入不确定但历史数据可辅助决策。
• 将经典滑雪租赁问题推广至多个商店，各店具有不同的购买/租赁价格，从而实现对不确定性下决策过程的更真实建模。
• 设计无需预先知晓预测质量或误差类型即可利用 ML 预测的在线算法，确保在预测准确时性能优异，同时在预测不佳时仍具备鲁棒性。
• 建立一种理论框架，用于分析在多店决策背景下，结合 ML 建议的在线算法的一致性与鲁棒性。

提出的方法

• 引入超参数 λ ∈ (0,1) 以控制对 ML 预测的信任程度，其中 λ = 0 表示完全信任，λ = 1 表示完全不信任。
• 设计一种确定性算法，根据最小化 r_i + (b_i - r_i)/b_n 的原则，在时间 b_n 选择购买的店铺 i，从而在无 ML 建议时实现最优竞争比。
• 设计一种随机化算法，利用 ML 预测指导决策，通过在盈亏平衡点中加入 +1 项以增强决策的谨慎性。
• 采用基于阈值的机制，将超过临界值（如 b_2）的 ML 预测数量与动态阈值进行比较，实现对多个预测的可扩展整合。
• 通过一致性（α）和鲁棒性（β）因子分析性能，其中 α 衡量在完美预测下的表现，β 衡量在最坏预测误差下的表现。
• 通过在合成数据和真实世界数据轨迹上的大量实验验证理论结果，表明在不同预测质量下均实现了更优的竞争比。

实验结果

研究问题

• RQ1 多店滑雪租赁问题的在线算法能否在预测准确时实现高的一致性，同时在预测质量差时仍具备强鲁棒性？
• RQ2 如何在不了解预测质量或误差分布的前提下，有效整合来自多种模型的多个 ML 预测以支持在线决策？
• RQ3 信任参数 λ 对平衡 MSSR 问题中 ML 指导与最坏情况保证之间的性能有何影响？
• RQ4 在盈亏平衡点计算中引入 +1 项如何影响竞争比与决策的谨慎性？
• RQ5 在具有不同预测偏差与方差的真实世界数据中，理论的一致性与鲁棒性保证在多大程度上仍然成立？

主要发现

• 所提出的确定性算法通过选择使 r_i + (b_i - r_i)/b_n 最小的店铺 i，实现了在无 ML 预测时 MSSR 的最小竞争比。
• 当仅使用单一 ML 预测时，朴素集成方法无法保证鲁棒性；然而，所提出的 λ 调优方法可在不了解预测误差的前提下同时维持一致性和鲁棒性。
• 对于无偏预测误差，当 λ 固定时，增加预测数量（m）可提升性能；当预测准确时，较小的 λ 值可获得更优性能。
• 在固定 m 和 λ 的条件下，低方差下较小的偏差可提升竞争比，而高方差下较大的偏差则更占优势，表明算法对误差特征具有自适应响应能力。
• 盈亏平衡点中的 +1 项通过在多数预测超过 b_2 时鼓励更早购买、在预测低于 b_2 时延长租赁时间，提升了决策的谨慎性与适应性。
• 在合成数据与真实世界数据上的实验表明，所提算法显著优于传统在线算法，尤其在预测准确时表现突出，验证了理论中一致性与鲁棒性之间的权衡。