[论文解读] Procrastinating with Confidence: Near-Optimal, Anytime, Adaptive Algorithm Configuration

Robert Kleinberg, Kevin Leyton‐Brown+2 more|arXiv (Cornell University)|Feb 14, 2019

Advanced Bandit Algorithms Research参考文献 36被引用 5

一句话总结

本文提出了结构化拖延置信度方法（SPC），一种任意时间、自适应的算法配置方法，可在基于置信度区间动态减少采样量的同时保持近似最优的性能保证。SPC在无需预设 $\epsilon$ 和 $\delta$ 值的情况下，实现了对优质配置的早期收敛，优于以往的 LeapsAndBounds 方法，在实践中能更快发现高质量解。

ABSTRACT

Algorithm configuration methods optimize the performance of a parameterized heuristic algorithm on a given distribution of problem instances. Recent work introduced an algorithm configuration procedure ("Structured Procrastination") that provably achieves near optimal performance with high probability and with nearly minimal runtime in the worst case. It also offers an $ extit{anytime}$ property: it keeps tightening its optimality guarantees the longer it is run. Unfortunately, Structured Procrastination is not $ extit{adaptive}$ to characteristics of the parameterized algorithm: it treats every input like the worst case. Follow-up work ("LeapsAndBounds") achieves adaptivity but trades away the anytime property. This paper introduces a new algorithm, "Structured Procrastination with Confidence", that preserves the near-optimality and anytime properties of Structured Procrastination while adding adaptivity. In particular, the new algorithm will perform dramatically faster in settings where many algorithm configurations perform poorly. We show empirically both that such settings arise frequently in practice and that the anytime property is useful for finding good configurations quickly.

研究动机与目标

• 解决结构化拖延（SP）的局限性，即其将所有配置视为最坏情况，尽管理论保证强，但实际运行速度较慢。
• 克服 LeapsAndBounds（LB）的非任意时间特性，其需要固定 $\epsilon$ 和 $\delta$ 输入，存在过早终止或计算浪费的风险。
• 设计一种结合 SP 的任意时间特性与 LB 的自适应能力的方法，实现在某些配置明显次优时的更快收敛。
• 通过实证验证，任意时间特性使得 SPC 比固定 $\epsilon$/$\delta$ 方法更早发现高质量配置。

提出的方法

• SPC 使用一种新颖的下置信度边界（LCB）选择配置进行采样，优先选择那些具有高潜力为次优的配置，从而实现对劣质配置的早期剔除。
• 该算法维护配置运行时间的置信区间，并根据方差和均值估计动态调整采样量，以减少不必要的计算。
• SPC 被设计为任意时间：用户可在任意时刻停止算法，仍以高概率获得一个 $(\epsilon,\delta)$-次优配置。
• 它通过在高方差或低均值运行时间的配置上减少采样量，自适应地适应问题结构，从而在简单实例中显著降低总体运行时间。
• 该方法的运行时间界为 $\text{OPT}^\gamma \cdot \frac{1}{\gamma}$ 倍于识别出 $(\epsilon,\delta)$-次优配置的期望时间，仅相差对数因子。
• SPC 使用基于置信度的探索策略，优先选择下置信度边界接近已知最优上界配置，实现探索与利用的平衡。

实验结果

研究问题

• RQ1 能否设计一种算法配置方法，在保持结构化拖延（SP）任意时间特性的同时，实现对配置性能特征的自适应？
• RQ2 在存在明显可剔除的次优配置的实际场景中，使用下置信度边界而非样本均值进行选择，是否能提升收敛速度？
• RQ3 SPC 的任意时间特性如何影响其发现优质配置的速度，相较于固定 $\epsilon$/$\delta$ 方法（如 LeapsAndBounds）？
• RQ4 在大多数配置显著劣于最优配置的场景中，SPC 相较于非自适应或非任意时间方法，能在多大程度上减少总运行时间？

主要发现

• SPC 在约 10 个 CPU 天内找到了所有配置中前 1% 的配置，而 LeapsAndBounds 对于任何 $\epsilon$,$\delta$ 组合至少需要 100 个 CPU 天。
• 约 100 个 CPU 天后，SPC 找到的解与 LeapsAndBounds 找到的最佳解相当，并在 525 个 CPU 天时持续改进，趋近于数据集的真实最优配置。
• LeapsAndBounds 中不同的 $\epsilon$,$\delta$ 组合导致截然不同的运行时间，但返回相同的配置，凸显了参数调优的困难。
• SPC 的任意时间特性使用户无需预设 $\epsilon$ 和 $\delta$ 即可早期获得高质量配置，避免了计算浪费或过早终止的风险。
• 在大量配置明显次优的场景中，SPC 的自适应采样策略显著降低了总运行时间，相比非自适应方法（如 SP）优势明显。
• 实证结果表明，SPC 基于置信度的选择机制在实践中能实现更快收敛，尤其在现实算法配置中常见的非最坏情况中表现突出。