[论文解读] Parallel Algorithm for Non-Monotone DR-Submodular Maximization

Alina Ene, Huy L. Nguyên|OpenBU (Boston University)|May 30, 2019

Complexity and Algorithms in Graphs参考文献 16被引用 7

一句话总结

本文提出了一种新颖的并行算法，用于在基数约束下最大化非单调 DR-子模函数，仅需 $O(\log n \log(1/\epsilon)/\epsilon^3)$ 个并行轮次即可实现 $1/e - \epsilon$ 的近似比。该方法结合了自适应阈值法与基于梯度的更新策略，在保持最优顺序近似保证的同时显著减少了轮次数量。

ABSTRACT

In this work, we give a new parallel algorithm for the problem of maximizing a non-monotone diminishing returns submodular function subject to a cardinality constraint. For any desired accuracy $ε$, our algorithm achieves a $1/e - ε$ approximation using $O(\log{n} \log(1/ε) / ε^3)$ parallel rounds of function evaluations. The approximation guarantee nearly matches the best approximation guarantee known for the problem in the sequential setting and the number of parallel rounds is nearly-optimal for any constant $ε$. Previous algorithms achieve worse approximation guarantees using $Ω(\log^2{n})$ parallel rounds. Our experimental evaluation suggests that our algorithm obtains solutions whose objective value nearly matches the value obtained by the state of the art sequential algorithms, and it outperforms previous parallel algorithms in number of parallel rounds, iterations, and solution quality.

研究动机与目标

• 解决在基数约束下非单调 DR-子模最大化缺乏高效并行算法的问题。
• 在保持强近似保证的前提下，相比先前工作减少并行轮次数量。
• 在并行环境下实现与最佳顺序近似比 $1/e - \epsilon$ 相当的性能。
• 相比现有并行算法，提升解的质量并减少迭代次数。
• 在特征选择和 MAP 推断等时间密集型应用中实现可扩展的优化。

提出的方法

• 该算法采用多阶段方法，结合自适应阈值法以控制活跃变量集合的大小。
• 每轮均应用基于梯度的更新，利用对函数值和梯度的预言机访问。
• 通过使用常数因子（0.75）而非 $1 - \epsilon$ 来动态调整阈值，从而减少迭代次数。
• 维护一个解向量 $\vec{z}$，并基于边际收益和约束条件在并行轮次中对其进行更新。
• 该算法确保每个阶段都将活跃集合大小减少一个常数因子，从而实现对数级的迭代上界。
• 通过每轮允许多项式数量的函数评估，实现高度并行性，同时最小化自适应性。

实验结果

研究问题

• RQ1 能否设计一种并行算法，在并行轮次数量少于先前方法的前提下，实现非单调 DR-子模最大化问题的 $1/e - \epsilon$ 近似？
• RQ2 在 DR-子模优化中，减少自适应性如何影响解的质量和收敛速度？
• RQ3 是否可以使用常数因子阈值更新规则替代 $1 - \epsilon$ 更新规则，同时保持近似保证？
• RQ4 在非单调 DR-子模最大化中，并行轮次与解质量之间的权衡关系如何？
• RQ5 所提出的算法在实际中与最先进的顺序及并行算法相比表现如何？

主要发现

• 该算法在基数约束下实现了非单调 DR-子模最大化问题的 $1/e - \epsilon$ 近似保证。
• 并行轮次数量为 $O(\log n \log(1/\epsilon)/\epsilon^3)$，相比先前的 $O(\log^2 n / \epsilon^2)$ 上界实现了近乎二次的改进。
• 对于常数 $\epsilon$，轮次数量接近最优的 $O(\log n)$，已逼近理论下界。
• 实验结果表明，该算法获得的解值达到顺序连续贪心基线的 95%–98%，优于先前的并行方法。
• 与最先进的并行乘法权重更新算法相比，该算法显著减少了自适应评估次数，降低了计算成本。
• 采用激进的阈值更新策略（$v \leftarrow 0.75v$）后，迭代次数减少至 $O(\log n \log(1/\epsilon)/\epsilon^2)$，同时保持了近似质量。