[论文解读] Multi-scale exploration of convex functions and bandit convex optimization

Sébastien Bubeck, Ronen Eldan|arXiv (Cornell University)|Jul 23, 2015

Advanced Bandit Algorithms Research参考文献 8被引用 22

一句话总结

本文提出了一种针对凸函数的新型多尺度探索图，使得在定义域上存在一个分布，能够同时在所有尺度上探测该函数。通过利用该构造和信息比率分析，作者解决了带域凸优化领域中一个长达十年的开放问题，证明了在维度 $n$ 下，最小最大遗憾界为 $acksim{O}(n^{11} \\_ ext{log}^4 T \\_ ext{sqrt}{T})$，与最优的 $ ext{sqrt}{T}$ 标度一致，仅相差对数和多项式因子。

ABSTRACT

We construct a new map from a convex function to a distribution on its domain, with the property that this distribution is a multi-scale exploration of the function. We use this map to solve a decade-old open problem in adversarial bandit convex optimization by showing that the minimax regret for this problem is $ ilde{O}(\mathrm{poly}(n) \sqrt{T})$, where $n$ is the dimension and $T$ the number of rounds. This bound is obtained by studying the dual Bayesian maximin regret via the information ratio analysis of Russo and Van Roy, and then using the multi-scale exploration to solve the Bayesian problem.

研究动机与目标

• 弥合对抗性带域凸优化中最小最大遗憾的 $ ext{sqrt}{T}$ 下界与 $T^{3/4}$ 上界之间的长期差距。
• 开发一种利用分布图对凸函数进行多尺度探索的新方法，确保在所有尺度上同时探测。
• 通过信息比率分析解决贝叶斯最大最小遗憾问题，从而在对抗性设置下获得紧致的遗憾界。
• 将近期在一维情况下获得的 $ ext{sqrt}{T}$-遗憾结果推广到高维，实现关于维度 $n$ 的多项式依赖。

提出的方法

• 在凸体 $\mathcal{K}$ 上构造一个分布 $\mu$，使得对任意 $\alpha \in \mathcal{K}$ 和满足 $g(\alpha) < -\varepsilon$ 的 $1$-Lipschitz 函数 $g$，满足 $|f(x) - g(x)|$ 较大的集合具有显著测度。
• 定义从凸函数 $f$ 到概率测度 $\mu$ 的映射，利用定义域的几何与测度性质，确保在所有尺度上实现探索。
• 利用 Russo 和 Van Roy 的信息比率框架来界定贝叶斯最大最小遗憾，将期望遗憾与关于最优动作的信息增益相关联。
• 应用 Sion 的极小化极大定理，将最小最大遗憾问题转化为界定贝叶斯最大最小遗憾。
• 使用球面对射和径向测度分析定义域的几何结构，利用高维中的对数凹性和体积比较。
• 利用测度的分解和极坐标，推导出关于径向投影 $\Theta_\alpha(x)$ 的水平集上条件测度的密度。

实验结果

研究问题

• RQ1 能否通过凸体上的单一分布，确保对凸函数在所有尺度上的同时探索？
• RQ2 在一般 $n$-维凸体的带域凸优化中，是否可能实现最小最大遗憾界为 $\backsim{O}(\text{poly}(n)\text{sqrt}{T})$？
• RQ3 在对抗性带域凸优化中，探索与信息增益之间的最优权衡是什么？
• RQ4 在存在 $T^{3/4}$ 上界和 $ ext{sqrt}{T}$ 下界的情况下，能否在高维中实现 $ ext{sqrt}{T}$ 的遗憾标度？
• RQ5 凸性如何显著提升函数与负扰动之间统计可区分性？

主要发现

• 本文在 $\mathcal{K}$ 上构造了一个分布 $\mu$，使得对任意 $\alpha \in \mathcal{K}$ 和满足 $g(\alpha) < -\varepsilon$ 的 $1$-Lipschitz 函数 $g$，满足 $|f(x) - g(x)| > \frac{c}{n^{7.5}\log(1+n/\varepsilon)}\max(\varepsilon, f(x))$ 的集合的测度至少为 $\frac{c}{n^3\log(1+n/\varepsilon)}$。
• 带域凸优化在维度 $n$ 下的最小最大遗憾界被界定为 $\mathbb{E}[R_T] \leq c\, n^{11} \log^4 T \sqrt{T}$，从而解决了 $T$-依赖性上的长期差距。
• 该结果优于此前对 i.i.d. 损失序列的最好界限 $\backsim{O}(n^{16}\sqrt{T})$，对 $n$ 的依赖更紧致。
• 该构造实现了关于 $\mathrm{poly}(n)$ 的遗憾，与 $ ext{sqrt}{T}$ 标度一致，仅相差对数和多项式因子，这是在这些因子范围内的最优结果。
• 关键洞见是：凸性使得一种在非凸情形下不可能实现的多尺度探索策略成为可能，因为在非凸情形下可区分性仅为 $O(\varepsilon^{n+1})$。
• 该分析依赖于一种新颖的信息论框架，结合信息比率与几何测度论，以控制探索分布的行为。