[论文解读] Volumetric Spanners: an Efficient Exploration Basis for Learning

Elad Hazan, Zohar Karnin+1 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Bandit Algorithms Research参考文献 13被引用 5

一句话总结

本文提出了体积分撑（volumetric spanners）——一种几何结构，可在高维凸决策空间中实现高效且低方差的探索。通过利用最小体积分椭球构造这些撑，作者首次实现了在一般凸集上带 bandit 线性优化的多项式时间、近似最优遗憾（regret）算法，克服了以往方法在计算效率或遗憾界方面的局限性。

ABSTRACT

Numerous machine learning problems require an exploration basis - a mechanism to explore the action space. We define a novel geometric notion of exploration basis with low variance, called volumetric spanners, and give efficient algorithms to construct such a basis. We show how efficient volumetric spanners give rise to the first efficient and optimal regret algorithm for bandit linear optimization over general convex sets. Previously such results were known only for specific convex sets, or under special conditions such as the existence of an efficient self-concordant barrier for the underlying set.

研究动机与目标

• 为解决机器学习中高效探索的根本挑战，特别是在不确定性下的决策问题。
• 定义一种新的低方差探索基几何概念，称为体积分撑，以实现对凸集上线性函数的精确插值。
• 开发用于在凸几何中构造体积分撑和最小体积分椭球的高效算法。
• 通过提供首个在一般凸决策集上带 bandit 线性优化的多项式时间、近似最优遗憾算法，解决一个长期存在的开放问题。
• 通过基于原理的低方差采样策略，将适用性扩展至主动学习和实验设计。

提出的方法

• 引入体积分撑的概念，作为凸集的低方差探索基，确保在撑上进行的噪声估计可在整个集合上产生低方差估计。
• 将凸体的最小体积分椭球定义为包含该体的最小体积椭球，并建立其存在性与性质的结构定理。
• 通过从对数凹分布中采样及几何优化技术，设计高效算法以计算体积分撑。
• 通过将撑用作探索集，将撑应用于带 bandit 线性优化，结合无偏线性代价估计器与指数加权的遗憾分析。
• 将重心撑（barycentric spanners）作为体积分撑的特例，与先前工作建立联系，同时提升方差控制与计算效率。
• 利用集中不等式与尾部界（例如，引理 6.5）控制估计误差，并以撑的大小与维度表示遗憾界。

实验结果

研究问题

• RQ1 能否设计一种几何构造，以实现在一般凸决策集上带 bandit 学习的低方差探索？
• RQ2 凸体的最小体积分椭球是什么？其结构与计算性质如何？
• RQ3 能否开发高效算法以构造支持带 bandit 线性优化中近似最优遗憾的体积分撑？
• RQ4 与先前方法相比，所提方法在遗憾最优性与计算效率方面表现如何？
• RQ5 体积分撑能否用于统一并改进主动学习与实验设计中现有的探索策略？

主要发现

• 本文构造了首个在一般凸集上带 bandit 线性优化的多项式时间算法，实现近似最优遗憾，遗憾界为 $ O\big((s+d)\big/\big/\text{sqrt}(T\text{log}(|\mathcal{K}|)/d)\big) $。
• 该遗憾界为近似最优，与理论下界仅相差对数因子，优于以往方法中计算效率低下或遗憾界次优的局限。
• 体积分撑被证明是重心撑的推广，其中 $2\sqrt{d}$-ratio-体积分撑可通过重心撑技术构造。
• 凸体的最小体积分椭球存在，并且在若干情况下可高效计算，为该方法提供了几何基础。
• 使用来自对数凹分布的独立同分布采样，可确保探索策略产生低方差估计，从而实现对决策集上线性函数的精确插值。
• 理论分析确认，期望遗憾被限制在 $ \frac{\log(|\mathcal{K}|)+2}{\eta} + 2\eta Td + \gamma T $，通过最优参数调优，可达到所述的近似最优遗憾。