[论文解读] Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees

Christoph Dürr, Nguyễn Kim Thắng+2 more|arXiv (Cornell University)|May 23, 2019

Complexity and Algorithms in Graphs参考文献 33被引用 4

一句话总结

本论文首次为在离线和在线设置下，于一般和下闭凸集上最大化非单调 DR-子模函数提供了近似和遗憾保证。它提出了一种弗兰克-沃尔夫算法，在一般凸集上实现了 $(1 - \min_{\bm{x} \in \mathcal{K}} \|\bm{x}\|_\infty)/(3\sqrt{3})$ 的近似比，并提出了一种随机梯度上升算法，在下闭集上实现了 $1/4$-近似和 $O(1/\sqrt{T})$ 的遗憾。

ABSTRACT

Diminishing-returns (DR) submodular optimization is an important field with many real-world applications in machine learning, economics and communication systems. It captures a subclass of non-convex optimization that provides both practical and theoretical guarantees. In this paper, we study the fundamental problem of maximizing non-monotone DR-submodular functions over down-closed and general convex sets in both offline and online settings. First, we show that for offline maximizing non-monotone DR-submodular functions over a general convex set, the Frank-Wolfe algorithm achieves an approximation guarantee which depends on the convex set. Next, we show that the Stochastic Gradient Ascent algorithm achieves a 1/4-approximation ratio with the regret of $O(1/\sqrt{T})$ for the problem of maximizing non-monotone DR-submodular functions over down-closed convex sets. These are the first approximation guarantees in the corresponding settings. Finally we benchmark these algorithms on problems arising in machine learning domain with the real-world datasets.

研究动机与目标

• 解决在真实应用中常见但缺乏理论性能保证的非单调 DR-子模函数在约束凸集上的优化问题。
• 为一般凸集上的非单调 DR-子模函数提供首个近似算法，其收敛速率依赖于可行域的结构。
• 为下闭凸集上的非单调 DR-子模最大化问题设计一种在线算法，实现可证明的 $(1/4, O(1/\sqrt{T}))$ 遗憾。
• 弥合非单调、约束 DR-子模优化在离线和在线学习框架下理论理解的差距。

提出的方法

• 将弗兰克-沃尔夫算法适配于一般凸集上的离线最大化，利用 DR-子模结构推导出依赖于可行域中点的最小无穷范数的近似比。
• 为在线设置设计一种随机梯度上升算法，其中在每个时间步 $t$，算法在观测到函数 $F^t$ 之前选择 $\bm{x}^t \in \mathcal{K}$，并基于梯度反馈进行更新。
• 证明随机梯度上升算法在 DR-子模性和凸性性质下，可实现 $1/4$-近似比和 $O(1/\sqrt{T})$ 的遗憾。
• 为下闭多面体 $\mathcal{K} = \{ \bm{x} \geq 0 \mid \sum_i x_i \leq 1 \}$ 引入一种专用投影算子，通过排序和迭代平均实现高效计算。
• 通过分析函数 $F$ 在可行集 $\mathcal{K}$ 上的曲率和子模结构，建立收敛性和近似性的理论界。
• 在真实数据集（Advogato、Facebook）上实现并基准测试两种算法，将在线性能与离线弗兰克-沃尔夫基线进行比较。

实验结果

研究问题

• RQ1 使用弗兰克-沃尔夫算法，能否为一般凸集上的非单调 DR-子模最大化问题实现近似比？
• RQ2 能否设计一种随机在线算法，实现对下闭凸集上非单调 DR-子模函数的常数近似和次线性遗憾？
• RQ3 弗兰克-沃尔夫算法的近似比如何依赖于凸集的几何结构，特别是 $\min_{\bm{x} \in \mathcal{K}} \|\bm{x}\|_\infty$？
• RQ4 弗兰克-沃尔夫算法在一般凸集上对非单调 DR-子模函数的最大化问题，其收敛速率如何？
• RQ5 所提出的在线与离线算法在具有非单调 DR-子模目标的现实机器学习问题中，其性能如何进行经验比较？

主要发现

• 弗兰克-沃尔夫算法在一般凸集上对非单调 DR-子模最大化问题实现了 $\left(1 - \min_{\bm{x} \in \mathcal{K}} \|\bm{x}\|_\infty\right)/(3\sqrt{3})$ 的近似比，收敛速率为 $O(n / \ln^2 T)$。
• 当凸集 $\mathcal{K}$ 包含原点时，该算法在 $T = O(e^{\sqrt{n/\epsilon}})$ 次迭代后可保证 $1/(3\sqrt{3}) \approx 0.192$ 的近似比，对任意 $\epsilon > 0$ 成立。
• 随机梯度上升算法在下闭凸集上对非单调 DR-子模最大化问题实现了 $1/4$-近似比和 $O(1/\sqrt{T})$ 的遗憾。
• 在 Advogato 和 Facebook 数据集上的实证评估验证了理论保证，显示在线算法相对于离线基线的性能比随时间推移而提升。
• 下闭多面体的投影算子可通过排序和迭代平均在 $O(n \log n)$ 时间内高效实现，支持实际部署。
• 在线算法相对于离线最优解的性能比随时间推移而提高，与 $O(1/\sqrt{T})$ 遗憾界一致。