[论文解读] Non-monotone Submodular Maximization in Exponentially Fewer Iterations

Eric Balkanski, Adam Breuer+1 more|ArXiv.org|Jul 30, 2018

Complexity and Algorithms in Graphs被引用 18

一句话总结

该论文提出了 Blits，一种新颖的算法，用于在基数约束下进行非单调子模最大化，可在 $\tilde{O}(\log^2 n)$ 个自适应轮次内实现逼近 $1/2e$ 的近似比。通过在激进剪枝后迭代添加低概率的元素块，Blits 在并行运行时间上实现了相对于先前方法的指数级加速，同时保持了具有竞争力的实验性能。

ABSTRACT

In this paper we consider parallelization for applications whose objective can be expressed as maximizing a non-monotone submodular function under a cardinality constraint. Our main result is an algorithm whose approximation is arbitrarily close to $1/2e$ in $O(\log^2 n)$ adaptive rounds, where $n$ is the size of the ground set. This is an exponential speedup in parallel running time over any previously studied algorithm for constrained non-monotone submodular maximization. Beyond its provable guarantees, the algorithm performs well in practice. Specifically, experiments on traffic monitoring and personalized data summarization applications show that the algorithm finds solutions whose values are competitive with state-of-the-art algorithms while running in exponentially fewer parallel iterations.

研究动机与目标

• 解决在基数约束下非单调子模最大化缺乏低自适应性算法的问题。
• 克服现有常数近似比算法的高自适应性（与 $k$ 线性相关）所带来的并行可扩展性限制。
• 设计一种方法，在显著减少所需顺序轮次数量的同时，保持强大的近似保证。
• 证明尽管最坏情况下的近似比更弱，低自适应性算法在实际中仍能表现具有竞争力。
• 实现在数据摘要和网络收益最大化等应用中对大规模子模优化的高效并行化。

提出的方法

• 提出 Blits 算法，通过采样大小为 $k/r$ 的元素块并在每个自适应轮次中评估其边际增益来运行。
• 在每个轮次中，以低概率将元素加入解集，以防止负贡献主导目标函数。
• 在形成候选块之前，使用激进剪枝移除具有负边际贡献的元素。
• 维护一个解集 $S$，其基于阈值化的边际增益逐步更新，以确保稳定性和收敛性。
• 引入一种启发式变体 Blits+，该变体从每个块中选择边际增益最高的元素而非随机选择，从而提升实验性能。
• 理论分析表明，Blits 在 $\tilde{O}(\log^2 n)$ 个自适应轮次内可实现逼近 $1/2e$ 的近似比。

实验结果

研究问题

• RQ1 我们能否设计一种非单调子模最大化算法，其自适应轮次数量显著少于 $k$，同时保持常数近似比？
• RQ2 是否可能在不牺牲解质量的前提下，实现非单调子模最大化在并行运行时间上的指数级加速？
• RQ3 低自适应性在实际应用（如图像摘要和推荐系统）中的实验性能受到何种影响？
• RQ4 即使最坏情况下的近似保证较弱，这些算法是否仍能在实际中优于或匹配最先进方法？
• RQ5 在自适应子模优化中，理论近似保证与实际效率之间存在何种权衡？

主要发现

• Blits 在 $\tilde{O}(\log^2 n)$ 个自适应轮次内实现了逼近 $1/2e$ 的近似比，相较于先前需要 $\tilde{O}(k)$ 轮次的算法实现了指数级改进。
• 尽管其理论保证弱于 RandomGreedy 的 $1/e$ 近似比，Blits 和 Blits+ 在多种数据集上的实验性能始终优于或匹配 RandomGreedy 和 P-Fantom。
• 在图像摘要、电影推荐和收益最大化等实验中，Blits 找到的解的质量与最先进算法（如 P-Fantom 和 RandomGreedy）相当或更优。
• Blits 仅使用目标大小 $k$ 的约 10%–15% 就获得了高质量解，表明该算法能有效早期剔除负贡献元素；若允许运行至 $|S| = k$，性能还可进一步提升。
• 实际中每轮所需的样本数远少于理论所需（仅约 30 个样本/轮次），即可实现优异性能，表明其对样本复杂度具有鲁棒性。
• Blits+——一种启发式变体——通过在每个块中选择边际增益最高的元素，在实际中略优于 Blits，尽管其缺乏正式的近似保证。