[论文解读] The FAST Algorithm for Submodular Maximization

Adam Breuer, Eric Balkanski+1 more|arXiv (Cornell University)|Jul 14, 2019

Complexity and Algorithms in Graphs参考文献 27被引用 11

一句话总结

本文提出 Fast，一种新颖的并行算法，用于在基数约束下进行单调子模最大化，其近似比可任意接近 $1-1/e$，适应性为 $ackslashmathcalackslash{O}(ackslashlog n ackslashlog^2 ackslashlog k)$，总查询次数为 $ackslashmathcalackslash{O}(n ackslashlog ackslashlog k)$。该算法在实际应用中显著优于现有方法，在大规模数据集上将查询次数和运行时间减少了数个数量级，同时通过高效的自适应采样和 delta 估计启发式方法，保持了强大的理论保证。

ABSTRACT

In this paper we describe a new algorithm called Fast Adaptive Sequencing Technique (FAST) for maximizing a monotone submodular function under a cardinality constraint $k$ whose approximation ratio is arbitrarily close to $1-1/e$, is $O(\log(n) \log^2(\log k))$ adaptive, and uses a total of $O(n \log\log(k))$ queries. Recent algorithms have comparable guarantees in terms of asymptotic worst case analysis, but their actual number of rounds and query complexity depend on very large constants and polynomials in terms of precision and confidence, making them impractical for large data sets. Our main contribution is a design that is extremely efficient both in terms of its non-asymptotic worst case query complexity and number of rounds, and in terms of its practical runtime. We show that this algorithm outperforms any algorithm for submodular maximization we are aware of, including hyper-optimized parallel versions of state-of-the-art serial algorithms, by running experiments on large data sets. These experiments show FAST is orders of magnitude faster than the state-of-the-art.

研究动机与目标

• 解决理论上高效的子模最大化算法与实际应用中低效性之间的差距，后者源于渐近分析中的大常数和多项式依赖。
• 设计一种实用、快速的并行算法，在大幅降低非渐近查询复杂度和轮次数量的同时，保持强大的理论保证。
• 在大规模数据集上，优于现有最先进算法（包括高度优化的串行和并行变体），在运行时间和查询效率方面均表现更优。
• 通过最小化计算开销而不牺牲解的质量，使子模优化在机器学习和数据挖掘中的实际部署成为可能。

提出的方法

• 该算法采用一种新颖的 delta 估计策略进行自适应采样，使用 $n$ 个均匀分布的 $\delta$ 值猜测，以减少对多线性扩展查询的需求。
• 其采用快速并行架构，允许多个处理器并行计算边际增益，通过懒更新机制仅在成功时产生开销，从而确保失败时不产生运行时惩罚。
• 该方法在迭代过程中动态调整阈值 $\delta$，仅在可行时才增加，以加速收敛，同时保持解的质量。
• 它采用两阶段方法：首先通过 $k$ 个最高单元素值的和，估计 OPT 的紧上界；然后利用该上界指导高效的采样与选择。
• 通过结合自适应采样与非均匀、大步长（$1/n$）的 $\delta$ 猜测，该算法旨在最小化轮次和总查询次数，避免过多小值迭代。
• 使用自定义的并行实现 Lazier-than-Lazy-Greedy（Parallel-LTLG）作为基准，通过优化确保其从不比标准随机贪心算法更慢。

实验结果

研究问题

• RQ1 子模最大化算法是否能在实际中实现接近最优的 $1-1/e$ 近似比，同时显著减少查询次数和轮次，相比最先进理论算法？
• RQ2 如何优化自适应采样与阈值技术，以减少并行子模优化中的理论与实际开销？
• RQ3 启发式选择（如 $\delta$ 估计的步长）在不降低解质量的前提下，能在多大程度上提升运行时间？
• RQ4 能否设计一种并行算法，使得懒更新即使失败也不会导致性能下降，从而保证始终优于基线方法？
• RQ5 Fast 在真实世界大规模数据集上的性能，与理论算法及现有方法的高度优化实现相比如何？

主要发现

• Fast 以 $ackslashmathcalackslash{O}(\backslashlog n \backslashlog^2 \backslashlog k)$ 适应性和 $ackslashmathcalackslash{O}(n \backslashlog \backslashlog k)$ 总查询次数，实现了任意接近 $1-1/e$ 的近似比，在非渐近意义上显著优于先前的理论边界。
• 在 $n=500$ 的 Watts-Strogatz 图上实验，Fast 仅用 0.051 秒完成，优于 Amortized-Filtering（0.58 秒）、Randomized-Parallel-Greedy（1.36 秒）和 Exhaustive-Maximization（55.14 秒）。
• Fast 仅使用 2,497 次查询，远低于 Amortized-Filtering 的 35,471 次和 Exhaustive-Maximization 的 4,845,205 次，显著降低了查询复杂度。
• 轮次数仅为 18 轮，远低于 Amortized-Filtering 的 540 轮和 Exhaustive-Maximization 的 12,806 轮，凸显其在并行适应性方面的高效性。
• 在实验集 2 的 8 次实验中，Fast 的查询次数少于串行 LTLG 的 7 次，且在查询次数相近时仍更快，归因于每轮更高的并行度。
• 采用 $1/n$ 间距的 $\delta$-猜测减少了迭代次数，并避免了过多的小值检查，使性能相比几何间距提升 10 倍，显著改善了实际表现。