[论文解读] Sequential Design of Experiments via Linear Programming

Sudipto Guha, Kamesh Munagala|arXiv (Cornell University)|May 17, 2008

Advanced Multi-Objective Optimization Algorithms参考文献 43被引用 9

一句话总结

本文提出了一种针对具有高成本探索的顺序实验设计的首个多项式时间常数因子近似算法，采用基于随机打包的新型线性规划舍入技术。该方法在贝叶斯多臂赌博机问题中实现近似最优的未来利用性能，适用于具有设置成本和凹函数效用的目标，同时确保顺序且不可回溯的探索策略，特别适合传感器网络和数据采集场景。

ABSTRACT

The celebrated multi-armed bandit problem in decision theory models the basic trade-off between exploration, or learning about the state of a system, and exploitation, or utilizing the system. In this paper we study the variant of the multi-armed bandit problem where the exploration phase involves costly experiments and occurs before the exploitation phase; and where each play of an arm during the exploration phase updates a prior belief about the arm. The problem of finding an inexpensive exploration strategy to optimize a certain exploitation objective is NP-Hard even when a single play reveals all information about an arm, and all exploration steps cost the same. We provide the first polynomial time constant-factor approximation algorithm for this class of problems. We show that this framework also generalizes several problems of interest studied in the context of data acquisition in sensor networks. Our analyses also extends to switching and setup costs, and to concave utility objectives. Our solution approach is via a novel linear program rounding technique based on stochastic packing. In addition to yielding exploration policies whose performance is within a small constant factor of the adaptive optimal policy, a nice feature of this approach is that the resulting policies explore the arms sequentially without revisiting any arm. Sequentiality is a well-studied concept in decision theory, and is very desirable in domains where multiple explorations can be conducted in parallel, for instance, in the sensor network context.

研究动机与目标

• 解决贝叶斯多臂赌博机问题中具有高成本探索和先验信念的顺序实验设计的计算困难问题。
• 为在探索先于利用的场景下优化未来利用性能，设计一种多项式时间近似算法。
• 将框架推广以包含切换/设置成本以及与传感器网络和数据采集相关的凹函数效用目标。
• 确保探索策略为顺序且不可回溯，这在现实世界系统中并行实验场景下具有实际意义。
• 建立常数因子的适应性间隙（adaptivity gap），表明顺序策略可实现接近最优的性能，相比完全自适应策略。

提出的方法

• 将问题建模为线性规划（LP），以捕捉在贝叶斯规则下的期望收益、成本和信念更新。
• 采用基于随机打包的新型 LP 舍入技术，将分数解转换为可行的探索策略。
• 设计一种贪心排序启发式方法，根据期望收益与包含预算、设置成本和探索成本的综合成本度量的比值，优先选择臂。
• 提出两种策略：GreedyOrder（执行过程中遵守预算约束）和 GreedyViolate（更易于分析，仅在最后违反预算）。
• 利用价值函数的次鞅性质比较 GreedyOrder 和 GreedyViolate，确保通过缩小最终权重带来的损失有界。
• 应用最终的缩放步骤（因子为 2），以确保 GreedyOrder 的可行性，同时保留至少 $\frac{OPT}{8}(1 - \epsilon)$ 的最优期望值，适用于凹目标函数。

实验结果

研究问题

• RQ1 我们能否为具有高成本探索和设置成本的顺序实验设计问题设计一种多项式时间近似算法？
• RQ2 在贝叶斯先验下，顺序策略在未来的利用目标中可达到的最佳近似比是多少？
• RQ3 顺序且不可回溯策略的性能与完全自适应最优策略相比，其适应性间隙如何？
• RQ4 该框架能否扩展以处理凹函数效用函数和切换成本？
• RQ5 该类问题的最优策略设计是否为 NP-难问题？如果是，我们是否仍能实现常数因子近似？

主要发现

• 所提出的算法对凹函数效用目标的期望值至少为 $\frac{OPT}{8}(1 - \epsilon)$，具有常数因子近似保证。
• GreedyViolate 策略的总成本不超过 $C + c_{\text{max}}$，并实现 $\frac{OPT}{4}(1 - \epsilon)$ 的期望值，提供了强有力的分析基线。
• GreedyOrder 策略确保了顺序且不可回溯的探索，这在传感器网络等应用场景中极具价值，因为并行实验是可行的。
• 基于随机打包的 LP 舍入技术即使在问题为 NP-难的情况下，也能实现常数因子近似。
• 适应性间隙被限制在常数因子内，表明顺序策略可达到最优自适应策略的常数倍性能。
• 该框架可推广至切换成本和设置成本，并可扩展至凹函数效用函数，显著拓宽了其在现实世界数据采集问题中的适用性。