[论文解读] Nonlinear stochastic multiarmed bandit problems with inexact oracle

Alexander Gasnikov, Ekaterina Krymova+3 more|arXiv (Cornell University)|Sep 5, 2015

Advanced Bandit Algorithms Research参考文献 14被引用 3

一句话总结

该论文提出了一种零阶随机在线优化方法，适用于凸和强凸问题，利用有噪声的函数评估，将镜像下降法推广以处理不精确的预言机。即使在有界噪声下，该方法仍能保持有效的收敛速率，表明在温和条件下，该方法可实现最优的遗憾边界，且其性能显式依赖于噪声水平和问题维度。

ABSTRACT

In the paper we consider one point and two point multiarmed bamdit problems. In other words we consider the online stochastic convex optimization problems with oracle that return the value (realization) of the function at one point or at two points. We allow these values to be inexact, but the level of noise should be small enough. We generalize well known results for inexact oracle case. And we also generalize classical results to prox-structures differ from euclidian.

研究动机与目标

• 开发一种适用于噪声函数评估而非梯度的零阶在线优化方法。
• 分析在有界噪声（不精确预言机）条件下，该方法的收敛速率。
• 确定性能显著下降的噪声水平阈值。
• 将镜像下降法推广至仅能获取函数值反馈的在线设置，包括单点和双点反馈机制。
• 建立理论保证，使其与已知的下界相匹配，表明所提方法的最优性。

提出的方法

• 采用一种改进的镜像下降框架，其中用函数值差值（零阶近似）替代梯度估计。
• 采用双点反馈机制，相较于单点反馈，提高了梯度估计的准确性。
• 引入平滑技术，以在保持收敛保证的同时处理有噪声的函数评估。
• 在期望梯度误差有界于常数 δ（不精确预言机条件）的假设下，推导收敛边界。
• 将该方法应用于凸和强凸设置，分别推导出不同情况下的收敛速率。
• 采用精心调校的步长调度，以平衡探索与收敛，确保达到最优的遗憾边界。

实验结果

研究问题

• RQ1 在有界噪声的不精确预言机条件下，零阶在线优化的最优收敛速率是什么？
• RQ2 在遗憾边界方面，单点反馈与双点反馈的性能相比如何？
• RQ3 在收敛速率方面，噪声水平达到何种程度时可视为可忽略？
• RQ4 镜像下降能否有效推广至仅能获取函数值反馈的在线设置？
• RQ5 所提方法在匹配已知信息论下界方面是否具有最优性？

主要发现

• 在单点反馈情况下，所提方法实现了 O(√(ln n / N)) 阶的遗憾边界，与已知下界相比仅差对数因子。
• 在双点反馈情况下，遗憾边界提升至 O(ln n / N)，表明额外函数评估的益处。
• 即使函数评估受有界噪声 δ 干扰，该方法仍保持有效性，且收敛速率以受控方式依赖于 δ。
• 在强凸情况下，遗憾边界改善为 O(1/N)，表明具有线性收敛速率。
• 理论分析证实，该方法在信息论复杂度方面具有最优性，与先前研究的下界一致。
• 结果表明，噪声水平在某一阈值 δ 以内时，对收敛速率无显著影响，确立了性能开始显著下降的临界点。