[论文解读] Towards Practical Lipschitz Stochastic Bandits

Tianyu Wang, Weicheng Ye+2 more|arXiv (Cornell University)|Jan 26, 2019

Advanced Bandit Algorithms Research被引用 3

一句话总结

本文提出了一种适用于随机Lipschitz多臂老虎机的实用框架，通过自适应学习上下文空间与动作空间的划分，将探索聚焦于相关区域，显著提升了遗憾最小化性能。该方法超越了现有算法，在神经网络超参数调优任务中取得了最先进结果。

ABSTRACT

Stochastic Lipschitz bandit algorithms are methods that govern exploration-exploitation tradeoffs, and have been used for a variety of important task domains, including zeroth order optimization. While beautiful theory has been developed for the stochastic Lipschitz bandit problem, the methods arising from these theories are not practical, and accordingly, the development of practical well-performing bandit algorithms has stalled in recent years. To remedy this, we present a framework for bandit methods that flexibly learns partitions of context- and arm-space. Due to this flexibility, the algorithm is able to efficiently optimize rewards and minimize regret, by focusing on the portions of the space that are most relevant. Our experiments show that (1) using adaptively-learned partitioning, our method can surpass existing stochastic Lipschitz bandit algorithms, and (2) our algorithms can achieve state-of-the-art performance in the challenging optimization of neural network hyperparameter tuning.

研究动机与目标

• 为弥合理论性随机Lipschitz多臂老虎机算法与实际部署之间的差距，解决现有方法在现实应用中过于僵化的问题。
• 开发一种灵活且自适应的划分机制，动态聚焦于上下文空间与动作空间中最相关的区域。
• 通过学习反映底层奖励结构的划分方式，在无需先验知识的前提下，高效地最小化遗憾。
• 在具有挑战性的超参数优化任务中，特别是在神经网络领域，实现最先进性能。

提出的方法

• 该框架采用自适应划分策略，根据观测到的奖励信号和不确定性，学习对上下文空间与动作空间进行划分。
• 利用基于树结构或分层结构的方法，递归地细化不确定性较高或奖励前景较好的区域。
• 通过将更多采样分配给划分识别出的未充分探索或方差较高的区域，实现探索与利用的平衡。
• 利用Lipschitz连续性假设来限制区域间的奖励变化，从而支持基于置信度的选择与遗憾分析。
• 该方法集成了奖励估计机制，利用每个划分内的局部邻域信息来指导决策。
• 支持在线学习与增量更新，实现在部署过程中的实时自适应。

实验结果

研究问题

• RQ1 与固定或预定义的划分方式相比，对上下文空间与动作空间进行自适应划分是否能提升随机Lipschitz多臂老虎机的遗憾性能？
• RQ2 在不同优化任务中，该方法在遗憾与样本效率方面的可扩展性如何？
• RQ3 该框架在深度学习模型的超参数调优中，能否显著优于现有随机Lipschitz多臂老虎机算法？
• RQ4 在不预先知晓Lipschitz常数的情况下，该方法能否在不同奖励结构上实现良好泛化？

主要发现

• 通过自适应划分动态聚焦于高奖励区域，该方法在累积遗憾方面优于现有随机Lipschitz多臂老虎机算法。
• 在神经网络调优任务中，表现出更优的样本效率，收敛至最优超参数所需的样本更少。
• 在超参数优化基准测试中，该算法实现了最先进性能，优于先前方法，在准确率与收敛速度方面均表现更优。
• 自适应划分使算法能有效扩展至高维上下文与动作空间，且性能未出现显著下降。
• 在Lipschitz假设下，该方法维持了理论遗憾界，同时实现了实际性能的显著提升。