[论文解读] Multivariate Submodular Optimization

Richard Santiago, F. Bruce Shepherd|arXiv (Cornell University)|Dec 15, 2016

Complexity and Algorithms in Graphs参考文献 30被引用 3

一句话总结

本文提出了多变量子模优化（MVSO），这是单智能体子模优化的推广，其中在不相交集合划分 S₁ ⊎ ⋯ ⊎ Sₖ ∈ ℱ 上优化联合目标函数 f(S₁,…,Sₖ)。它建立了近似保证：对于最大化问题，MVSO 在单调和非单调情况下分别达到 α(1−1/e) 和 α·0.385 的近似比，与已知的 SO 边界一致；对于最小化问题，它提供了依赖于曲率的近似比 β·n/(1+(n−1)(1−c))，该结果几乎紧致。

ABSTRACT

Submodular functions have found a wealth of new applications in data science and machine learning models in recent years. This has been coupled with many algorithmic advances in the area of submodular optimization: (SO) $\min/\max~f(S): S \in \mathcal{F}$, where $\mathcal{F}$ is a given family of feasible sets over a ground set $V$ and $f:2^V ightarrow \mathbb{R}$ is submodular. In this work we focus on a more general class of \emph{multivariate submodular optimization} (MVSO) problems: $\min/\max~f (S_1,S_2,\ldots,S_k): S_1 \uplus S_2 \uplus \cdots \uplus S_k \in \mathcal{F}$. Here we use $\uplus$ to denote disjoint union and hence this model is attractive where resources are being allocated across $k$ agents, who share a `joint' multivariate nonnegative objective $f(S_1,S_2,\ldots,S_k)$ that captures some type of submodularity (i.e. diminishing returns) property. We provide some explicit examples and potential applications for this new framework. For maximization, we show that practical algorithms such as accelerated greedy variants and distributed algorithms achieve good approximation guarantees for very general families (such as matroids and $p$-systems). For arbitrary families, we show that monotone (resp. nonmonotone) MVSO admits an $α(1-1/e)$ (resp. $α\cdot 0.385$) approximation whenever monotone (resp. nonmonotone) SO admits an $α$-approximation over the multilinear formulation. This substantially expands the family of tractable models for submodular maximization. For minimization, we show that if SO admits a $β$-approximation over \emph{modular} functions, then MVSO admits a $\frac{β\cdot n}{1+(n-1)(1-c)}$-approximation where $c\in [0,1]$ denotes the curvature of $f$, and this is essentially tight. Finally, we prove that MVSO has an $αk$-approximation whenever SO admits an $α$-approximation over the convex formulation.

研究动机与目标

• 正式化并研究一类新的多变量子模优化（MVSO）问题，其中在不相交集合划分上优化联合目标函数 f(S₁,…,Sₖ)。
• 分析 MVSO 与经典单智能体子模优化（SO）在最大化和最小化问题上的近似差距（MV gap）。
• 在一般可行性族 ℱ（包括拟阵和 p-系统）下，建立 MVSO 的紧致近似界。
• 探讨曲率在 MVSO 最小化中的作用，并推导出依赖于曲率的近似因子。
• 证明 MVSO 比可分多智能体模型捕捉到更丰富的结构，其在机器学习和数据科学中有应用。

提出的方法

• 提出 MVSO 的正式框架：在 S₁ ⊎ ⋯ ⊎ Sₖ ∈ ℱ 的约束下，最小化或最大化 f(S₁,…,Sₖ)，其中 f 为 k-多子模函数。
• 引入 k-多子模性的概念，将子模性推广至多个集合上具有递减回报特性的多变量函数。
• 利用多线性松弛和凸优化形式化，基于已知的 SO 近似比推导出 MVSO 的近似保证。
• 将加速贪心算法和分布式算法应用于 MVSO，表明其在拟阵和 p-系统等一般约束下可达到良好的近似比。
• 通过概率分析和 Chernoff 不等式，证明在值预言机模型中近似可实现性的下界。
• 通过 Iyer 等人提出的一种构造方法，将其扩展至多变量函数，引入基于曲率的下界，以证明近似因子的紧致性。

实验结果

研究问题

• RQ1 对于最大化问题，多变量子模优化与经典子模优化之间的近似差距（MV gap）是多少？
• RQ2 在 MVSO 框架中，实际算法如加速贪心和分布式方法能否实现良好的近似保证？
• RQ3 多变量目标函数的曲率如何影响 MVSO 最小化问题的可近似性？
• RQ4 MVSO 框架是否严格比可分多智能体子模优化（MASO）更具表达力？
• RQ5 在值预言机模型中，近似 MVSO 问题的信息论极限是什么？

主要发现

• 对于单调 MVSO 最大化问题，近似比为 α(1−1/e)，其中 α 是对应单智能体 SO 问题在多线性松弛下的近似比。
• 对于非单调 MVSO 最大化问题，近似比为 α·0.385，同样基于 SO 的近似比 α。
• 单调最大化问题的 MV gap 是紧致的，通过构造一个匹配的下界证明。
• 对于 MVSO 最小化问题，近似比为 β·n/(1+(n−1)(1−c))，其中 β 是 SO 在模函数上的近似比，c 是 f 的总曲率。
• 该最小化近似比本质上是紧致的，即使在 ℱ = {V} 的情况下，也通过一个依赖曲率的下界 o(n/log n / (1 + (n/log n −1)(1−c))) 得到证明。
• 本文表明，在值预言机模型中，除非考虑曲率，否则 MVSO 无法实现 o(n/log n) 的近似比，这凸显了曲率感知分析的必要性。