[论文解读] Online Least Squares Estimation with Self-Normalized Processes: An Application to Bandit Problems

Yasin Abbasi-Yadkori, Dávid Pál+1 more|arXiv (Cornell University)|Feb 14, 2011

Advanced Bandit Algorithms Research参考文献 17被引用 39

一句话总结

本文提出了一种针对向量值过程的新型自归一化鞅尾部界，用于在线最小二乘估计中构建更紧致的置信集。该方法应用于多臂老虎机和线性老虎机问题时，通过减少对数因子和常数，改进了遗憾界，实现了即使在小样本量下也成立的更紧致的高概率遗憾界。

ABSTRACT

The analysis of online least squares estimation is at the heart of many stochastic sequential decision making problems. We employ tools from the self-normalized processes to provide a simple and self-contained proof of a tail bound of a vector-valued martingale. We use the bound to construct a new tighter confidence sets for the least squares estimate. We apply the confidence sets to several online decision problems, such as the multi-armed and the linearly parametrized bandit problems. The confidence sets are potentially applicable to other problems such as sleeping bandits, generalized linear bandits, and other linear control problems. We improve the regret bound of the Upper Confidence Bound (UCB) algorithm of Auer et al. (2002) and show that its regret is with high-probability a problem dependent constant. In the case of linear bandits (Dani et al., 2008), we improve the problem dependent bound in the dimension and number of time steps. Furthermore, as opposed to the previous result, we prove that our bound holds for small sample sizes, and at the same time the worst case bound is improved by a logarithmic factor and the constant is improved.

研究动机与目标

• 解决序列决策问题中在线最小二乘估计的关联数据挑战。
• 使用自归一化过程，为向量值鞅提供一种新颖且自包含的尾部界证明。
• 为最小二乘估计构建更紧致的置信集，以提升老虎机算法的性能。
• 改进多臂老虎机和线性老虎机问题中UCB和ConfidenceBall算法的遗憾界。
• 确保改进后的界限对所有时间步 T ≥ 1 成立，包括小样本量，这与以往工作不同。

提出的方法

• 利用自归一化过程和混合方法，推导出 d 维鞅的新尾部界。
• 利用推导出的界，构建具有更优集中性质的最小二乘估计置信集。
• 在UCB和ConfidenceBall算法中，用新置信集替代标准置信区间。
• 在线性老虎机设置中，应用矩阵扰动理论（Stewart 和 Sun，1990）来界定协方差矩阵的特征值。
• 提出一种新颖的遗憾分解方法，将遗憾与协方差矩阵 V_T 的行列式对数联系起来。
• 使用对数和迹相关的不等式，将 log det(V_T) 用次优动作的数量和时间 T 表示。

实验结果

研究问题

• RQ1 能否通过自归一化过程为向量值鞅导出更紧致的尾部界，以改进在线学习中的置信集？
• RQ2 新置信集对多臂老虎机和线性老虎机问题中UCB和ConfidenceBall算法的遗憾性能有何影响？
• RQ3 改进后的遗憾界是否能在所有 T ≥ 1 下以高概率成立，包括小样本量？
• RQ4 在对数因子和常数方面，问题依赖型遗憾界可实现哪些改进？
• RQ5 与 Dani 等人（2008）关于线性老虎机的 O(d²/Δ log³T) 结果相比，新分析是否能获得更紧致的界？

主要发现

• 所提出的向量值鞅尾部界是自包含的，比以往结果更简单且更紧致，包括 Rusmevichientong 和 Tsitsiklis（2010）的结果。
• 对于改进的UCB算法，高概率遗憾为 O(K log(1/δ)/Δ)，优于原始UCB的 O(K log T/Δ) 界。
• 在线性老虎机设置中，改进的ConfidenceBall算法实现了 O(d log T √T + √(d T log(T/δ))) 的遗憾界，相比最坏情况界改进了一个对数因子。
• 问题依赖型遗憾界从 O(d²/Δ log³T) 改进为 O((log T + d log log T)² / Δ)，常数更小，对 Δ 的依赖更优。
• 新界对所有 T ≥ 1 成立，而以往结果要求 T 足够大。
• 置信集不仅适用于老虎机问题，还可推广至睡眠老虎机、广义线性老虎机和线性控制问题。