[论文解读] Optimal discovery with probabilistic expert advice: finite time analysis and macroscopic optimality

Sébastien Bubeck, Damien Ernst+1 more|arXiv (Cornell University)|Jul 22, 2012

Advanced Bandit Algorithms Research参考文献 10被引用 12

一句话总结

本文提出了一种针对概率专家建议的最优发现问题的乐观算法，利用Good-Turing缺失质量估计器来平衡探索与利用。在弱假设下建立了有限时间 regret 边界，并通过证明该策略在渐近意义上可匹配已知最优专家配置的预言机策略，从而实现宏观最优性，以识别多个专家中的稀有有趣项目。

ABSTRACT

We consider an original problem that arises from the issue of security analysis of a power system and that we name optimal discovery with probabilistic expert advice. We address it with an algorithm based on the optimistic paradigm and on the Good-Turing missing mass estimator. We prove two different regret bounds on the performance of this algorithm under weak assumptions on the probabilistic experts. Under more restrictive hypotheses, we also prove a macroscopic optimality result, comparing the algorithm both with an oracle strategy and with uniform sampling. Finally, we provide numerical experiments illustrating these theoretical findings.

研究动机与目标

• 为解决在有限数量的概率专家下，快速发现稀有有趣元素（例如电力系统中的危险状况）的挑战。
• 设计一种序列决策策略，自适应地在每个时间步选择查询哪个专家，以最大化发现的独特有趣项目数量。
• 在对专家分布的最小假设下，建立有限时间 regret 边界。
• 通过将算法性能与预言机策略和均匀采样在渐近情形下的表现进行比较，证明宏观最优性。

提出的方法

• 该算法采用乐观范式，基于从Good-Turing缺失质量估计器导出的置信上界选择专家，优先选择可能带来新有趣项目的专家。
• 通过缺失质量估计器建模从每个专家中发现新元素的概率，该估计器用于估计每个专家分布支持中未见元素的总概率质量。
• 策略根据历史观测动态分配各专家的抽样次数，优先选择估计未见质量更高且不确定性更低的专家。
• 为实现宏观最优性，论文推导出在时间 horizon 趋于无穷时，专家间抽样分配的闭式解，以最小化期望缺失质量。
• 最优分配通过求解一个约束凸优化问题获得，以最小化期望缺失质量，其解依赖于专家概率的几何平均值和总时间 horizon。
• 该方法表明，发现的有趣项目比例收敛于专家概率和时间的函数，最优策略实现的缺失质量与基于专家分布导出的阈值函数的逆函数完全匹配。

实验结果

研究问题

• RQ1 在对专家分布的弱假设下，基于乐观算法的最优发现问题在有限时间内的 regret 表现如何？
• RQ2 在稀有事件发现效率方面，所提出的算法与均匀采样相比表现如何？
• RQ3 该算法能否实现宏观最优性，即渐近意义上匹配已知最优抽样分配的预言机策略？
• RQ4 在渐近情形下，专家间最优抽样分配的结构是什么？其如何依赖于专家概率？
• RQ5 Good-Turing 缺失质量估计器在该序列发现问题中如何促进探索与利用的平衡？

主要发现

• 在对专家分布的弱假设下，该算法实现了 O(log t) 量级的有限时间 regret 边界，确保随时间推移高效学习。
• 在更严格的假设下，该算法具有宏观最优性：其发现有趣项目的比例期望收敛至与已知最优分配的预言机策略相同的极限。
• 在渐近情形下，专家间最优抽样分配由选择前 I(t) 个专家构成，其中 I(t) 依赖于时间 horizon t 和专家概率的几何平均值。
• 最优缺失质量为 r*(t) = I(t) * q̲_I(t) * exp(-t/I(t)) + sum_{i>I(t)} q_i，其中 q̲_I(t) 为前 I(t) 个专家概率的几何平均值。
• 最优活跃专家数 I(t) 发生变化的阈值时间 t_i 由方程 q_i + (i-1)q̲_{i-1}exp(-t_i/(i-1)) = i q̲_i exp(-t_i/i) 描述，该方程定义了不同最优配置之间的切换点。
• 该算法发现的项目比例收敛至 sum_{i=1}^K (q_i - Λ(t))_+，其中 Λ(t) = q̲_I(t) exp(-t/I(t)) 为缺失质量阈值函数 T(λ) 的逆函数，从而建立了缺失质量与发现速率之间的精确联系。