[论文解读] Non-monotone Submodular Maximization with Nearly Optimal Adaptivity Complexity.

Matthew Fahrbach, Vahab Mirrokni+1 more|arXiv (Cornell University)|Aug 19, 2018

Complexity and Algorithms in Graphs参考文献 44被引用 8

一句话总结

该论文提出了首个针对基数约束下非单调子模最大化问题的常数因子近似算法，其自适应复杂度接近最优的 $O(\log n)$，同时将每个元素的期望函数评估次数降低至 $O(\log k)$，显著提升了在分布式和大规模场景下的效率。

ABSTRACT

As a generalization of many classic problems in combinatorial optimization, submodular optimization has found a wide range of applications in machine learning (e.g., in feature engineering and active learning). For many large-scale optimization problems, we are often concerned with the adaptivity complexity of an algorithm, which quantifies the number of sequential rounds where polynomially-many independent function evaluations can be executed in parallel. While low adaptivity is ideal, it is not sufficient for a distributed algorithm to be efficient, since in many practical applications of submodular optimization the number of function evaluations becomes prohibitively expensive. Motivated by such applications, we study the adaptivity and query complexity of non-monotone submodular optimization. We provide the first constant approximation algorithm for maximizing a non-monotone submodular function with cardinality constraint $k$ that has nearly-optimal adaptivity complexity $O(\log(n))$. Furthermore, our algorithm makes only $O(\log(k))$ calls per element to the function evaluation oracle in expectation.

研究动机与目标

• 为解决分布式子模优化中查询复杂度高的问题，特别是针对非单调函数。
• 减少并行计算中子模最大化问题的序列轮数（自适应复杂度）。
• 在保持常数因子近似保证的前提下，最小化每个元素的函数评估次数。
• 在基数约束下，实现非单调子模函数近乎最优的自适应复杂度 $O(\log n)$。

提出的方法

• 该算法采用一种新颖的自适应采样策略，通过在每轮中平衡探索与利用，以维持子模函数值的增长。
• 采用基于估计边际增益动态调整的阈值机制，以减少冗余评估。
• 通过递归采样与剪枝，确保每个元素的期望评估次数仅为 $O(\log k)$。
• 利用集中不等式控制边际增益估计的误差，从而为近似比提供理论保证。
• 算法按轮次组织，每轮并行执行多项式数量的独立函数评估，以最小化自适应性。
• 关键组件是使用随机舍入方案选择候选集合，同时保持子模结构。

实验结果

研究问题

• RQ1 我们能否在接近理论下限的自适应复杂度下，实现对非单调子模最大化问题的常数因子近似？
• RQ2 在低自适应性设置下，为保持高近似质量，每个元素所需的最少函数评估次数是多少？
• RQ3 如何设计一种分布式算法，以在大规模子模问题中平衡并行性与查询效率？
• RQ4 是否可能将每个元素的期望函数评估次数降低至 $O(\log k)$，同时保持 $O(\log n)$ 的自适应复杂度？

主要发现

• 所提出的算法在基数约束下实现了对非单调子模最大化问题的常数因子近似。
• 自适应复杂度为 $O(\log n)$，接近最优，与理论下限仅相差一个常数因子。
• 每个元素的期望函数评估次数为 $O(\log k)$，显著降低了总查询成本。
• 通过最小化序列轮数并支持独立元素的并行评估，该算法在分布式环境中保持了高性能。