[论文解读] Selecting the best system, large deviations, and multi-armed bandits

Peter W. Glynn, Sandeep Juneja|arXiv (Cornell University)|Jul 16, 2015

Advanced Bandit Algorithms Research参考文献 23被引用 3

一句话总结

本文挑战了大偏差率估计可实现以 1−δ 置信度识别最优总体的 O(log(1/δ)) 样本复杂度这一假设。它证明，在支持无界的情况下，若无矩约束，此类保证在根本上不可能实现，并表明估计的率函数本身也遵循大偏差原理，为基于模拟的选择算法提供了新的理论洞见。

ABSTRACT

Consider the problem of finding a population amongst many with the largest mean when these means are unknown but population samples can be generated via simulation. Typically, by selecting a population with the largest sample mean, it can be shown that the false selection probability decays at an exponential rate. Lately researchers have sought algorithms that guarantee that this probability is restricted to a small $\delta$ in order $\log(1/\delta)$ computational time by estimating the associated large deviations rate function via simulation. We show that such guarantees are misleading. Enroute, we identify the large deviations principle followed by the empirically estimated large deviations rate function that may also be of independent interest. Further, we show a negative result that when populations have unbounded support, under mild restrictions, any policy that asymptotically identifies the correct population with probability at least $1-\delta$ for each problem instance requires more than $O(\log(1/\delta))$ samples in making such a determination in any problem instance. This suggests that some restrictions are essential on populations to devise $O(\log(1/\delta))$ algorithms with $1 - \delta$ correctness guarantees. We note that under restriction on population moments, such methods are easily designed. We also observe that sequential methods from stochastic multi-armed bandit literature can be adapted to devise such algorithms.

研究动机与目标

• 调查是否可通过大偏差率估计实现以 1−δ 置信度选择最优总体的 O(log(1/δ)) 样本复杂度。
• 分析经验估计的大偏差率函数的大偏差行为。
• 确定此类高效算法的存在是否需要矩约束。
• 评估顺序多臂赌博机方法在实现 1−δ 正确性的同时达到 O(log(1/δ)) 样本复杂度的可行性。

提出的方法

• 利用大偏差理论推导出经验估计的大偏差率函数所遵循的大偏差原理。
• 分析在总体支持无界条件下选择算法的渐近行为。
• 建立一个负结果：任何在所有实例中实现 1−δ 正确性的策略，在支持无界时所需样本数均超过 O(log(1/δ))。
• 通过施加温和的矩约束，证明在这些条件下 O(log(1/δ)) 算法是可行的。
• 将顺序随机多臂赌博机策略进行适配，以在矩约束下构建有效的 O(log(1/δ)) 算法。
• 采用基于模拟的大偏差率函数估计，以评估选择性能和误差衰减速率。

实验结果

研究问题

• RQ1 通过模拟进行的大偏差率估计能否保证以 1−δ 置信度选择最优总体的 O(log(1/δ)) 样本复杂度？
• RQ2 经验估计的大偏差率函数由何种大偏差原理支配？
• RQ3 当总体支持无界时，O(log(1/δ)) 样本复杂度是否在根本上不可能实现？
• RQ4 为实现具有 1−δ 正确性保证的 O(log(1/δ)) 算法，是否必须施加矩约束？
• RQ5 现有顺序多臂赌博机方法能否在矩约束下适配以实现此类保证？

主要发现

• 在支持无界且施加温和约束的条件下，任何策略都无法在所有问题实例中以 O(log(1/δ)) 样本实现 1−δ 正确性。
• 经验估计的大偏差率函数本身也遵循其自身的大偏差原理，具有独立的理论兴趣。
• 当总体具有有界矩时，可构建具有 1−δ 正确性保证的 O(log(1/δ)) 算法。
• 在标准采样下，错误选择概率呈指数衰减，但这并不意味着可保证 O(log(1/δ)) 样本复杂度。
• 顺序多臂赌博机方法可在矩约束下适配以实现 O(log(1/δ)) 样本复杂度。
• 本文揭示，由于在无界支持下存在根本性限制，现有基于大偏差的方法在实践中可能具有误导性。