[论文解读] Submodular Optimization under Noise

Avinatan Hassidim, Yaron Singer|arXiv (Cornell University)|Jan 12, 2016

Complexity and Algorithms in Graphs参考文献 71被引用 17

一句话总结

本文研究在噪声预言机下的子模函数最大化问题，其中函数评估受乘法误差污染。它提出了平滑的贪心算法，在随机噪声下对 $k \geq 2$ 实现逼近 $1-1/e$ 的近似比，对 $k=1$ 实现 $1/2$ 的近似比，同时表明对抗性噪声使得非平凡近似成为不可能。

ABSTRACT

We consider the problem of maximizing a monotone submodular function under noise. There has been a great deal of work on optimization of submodular functions under various constraints, resulting in algorithms that provide desirable approximation guarantees. In many applications, however, we do not have access to the submodular function we aim to optimize, but rather to some erroneous or noisy version of it. This raises the question of whether provable guarantees are obtainable in presence of error and noise. We provide initial answers, by focusing on the question of maximizing a monotone submodular function under a cardinality constraint when given access to a noisy oracle of the function. We show that: - For a cardinality constraint $k \geq 2$, there is an approximation algorithm whose approximation ratio is arbitrarily close to $1-1/e$; - For $k=1$ there is an algorithm whose approximation ratio is arbitrarily close to $1/2$. No randomized algorithm can obtain an approximation ratio better than $1/2+o(1)$; -If the noise is adversarial, no non-trivial approximation guarantee can be obtained.

研究动机与目标

• 研究在仅通过噪声预言机访问单调子模函数时，是否可以维持可证明的近似保证，以在基数约束下实现最大化。
• 确定如贪心算法等现有算法在乘法噪声下的鲁棒性极限。
• 设计新算法，使其在函数评估存在噪声时仍能实现接近最优的近似比。
• 在不同噪声模型（包括对抗性和随机噪声）下，建立最佳可能近似比的理论边界。

提出的方法

• 提出平滑贪心算法，通过重复采样来平滑噪声函数评估，降低边际增益估计的方差。
• 针对大 $k$ 提出快速贪心算法，利用平滑比较过程在噪声评估下比较候选集合。
• 采用组合平均法和采样均值贪心技术，稳定噪声下边际贡献的估计。
• 分析包括加法噪声、边际噪声、相关噪声和近似子模性在内的噪声模型，重点关注乘法噪声。
• 利用高概率浓度不等式和信息论论证推导近似保证。
• 采用噪声分布模型 $\widetilde{f}(S) = \xi_S f(S)$，其中 $\xi_S \in [1-\epsilon, 1+\epsilon]$，并研究 $\epsilon$ 对近似质量的影响。

实验结果

研究问题

• RQ1 当函数仅可通过噪声预言机访问时，能否在基数约束下实现单调子模最大化问题的常数因子近似？
• RQ2 在噪声为随机性与对抗性时，可实现的最佳近似比是多少？
• RQ3 为何标准贪心算法在即使很小的乘法噪声下也会失效？能否设计出鲁棒的替代方案？
• RQ4 在随机噪声下，能否对 $k \geq 2$ 实现逼近 $1-1/e$ 的近似比？
• RQ5 在对抗性噪声下是否存在近似的基本限制？若有，其上限是什么？

主要发现

• 对于 $k \geq 2$，存在一个多项式时间算法，在随机乘法噪声下可实现逼近 $1-1/e$ 的近似比。
• 对于 $k=1$，存在一个算法可实现逼近 $1/2$ 的近似比，且任何随机化算法都无法超过 $1/2 + o(1)$。
• 对抗性噪声使得非平凡近似成为不可能，即使使用指数级多的查询，也受限于信息论极限。
• 标准贪心算法在任意常数 $\epsilon > 0$ 下均会失效，即使对可加函数也仅能实现 $O(1/k)$ 的近似比。
• 采样均值贪心算法在近似比方面可能表现极差，即使噪声函数接近真实函数也是如此。
• 当 $n$ 较小时，问题在噪声下变得不可解，除非评估所有子集，否则近似比可能任意差。