[论文解读] Stochastic Submodular Maximization: The Case of Coverage Functions

Mohammad Reza Karimi, Mario Lučić+2 more|arXiv (Cornell University)|Nov 5, 2017

Complexity and Algorithms in Graphs参考文献 23被引用 12

一句话总结

本文提出了一种用于在拟阵约束下最大化加权覆盖函数的随机连续优化框架，通过在多线性扩展上使用投影随机梯度上升，实现了可证明的 (1−1/e) 近似保证。该方法在影响最大化与典型聚类任务中，相较于贪心算法实现了数量级的加速，同时保持了接近最优的性能。

ABSTRACT

Stochastic optimization of continuous objectives is at the heart of modern machine learning. However, many important problems are of discrete nature and often involve submodular objectives. We seek to unleash the power of stochastic continuous optimization, namely stochastic gradient descent and its variants, to such discrete problems. We first introduce the problem of stochastic submodular optimization, where one needs to optimize a submodular objective which is given as an expectation. Our model captures situations where the discrete objective arises as an empirical risk (e.g., in the case of exemplar-based clustering), or is given as an explicit stochastic model (e.g., in the case of influence maximization in social networks). By exploiting that common extensions act linearly on the class of submodular functions, we employ projected stochastic gradient ascent and its variants in the continuous domain, and perform rounding to obtain discrete solutions. We focus on the rich and widely used family of weighted coverage functions. We show that our approach yields solutions that are guaranteed to match the optimal approximation guarantees, while reducing the computational cost by several orders of magnitude, as we demonstrate empirically.

研究动机与目标

• 解决在随机目标下子模最大化问题中离散贪心算法计算效率低下的问题。
• 实现对以随机实例期望形式定义的子模目标（如社交网络中的影响力或聚类中的经验风险）的可扩展优化。
• 开发一种连续域方法，在通过随机梯度方法减少运行时间的同时，保持理论近似保证。
• 在速度与准确性方面，展示随机连续优化相较于传统离散方法的实用优越性。

提出的方法

• 通过加权覆盖函数的多线性扩展，将离散子模问题提升到连续域。
• 应用投影随机梯度上升以最大化多线性扩展的凹松弛，使用独立同分布样本的无偏梯度估计。
• 利用 Fenchel 共轭与双共轭推导对偶公式，确保收敛至最优解。
• 通过随机舍入将所得分数解转换为整数解，且不损失近似质量，保持 (1−1/e) 近似保证。
• 集成自适应优化算法（如 Adam、AdaGrad）以在连续域中加速收敛。
• 通过在优化过程中将迭代点投影到拟阵多面体上，确保在拟阵约束下的可行性。

实验结果

研究问题

• RQ1 随机连续优化技术能否在随机子模最大化问题中实现与贪心算法相同的近似保证？
• RQ2 在运行时间和解质量方面，多线性扩展上的随机梯度上升与贪心算法相比表现如何？
• RQ3 所提方法在拟阵约束下对加权覆盖函数的理论近似保证是什么？
• RQ4 该框架能否处理精确评估目标函数计算成本过高的大规模问题？
• RQ5 在贪心算法因早期决策次优而失效的情况下（如在划分拟阵下的影响最大化问题），该方法是否优于贪心算法？

主要发现

• 所提方法在期望下对加权覆盖函数实现了 (1−1/e) 近似保证，与多项式时间算法的最佳已知理论界一致。
• 实验结果表明，与贪心算法相比，该方法将运行时间减少了高达一个数量级，平均误差低于 1%。
• 在贪心算法因早期承诺而选择次优节点的情况下（如在划分拟阵约束下的影响最大化问题），该方法能成功识别出最优解。
• 在多线性扩展上的随机梯度上升收敛高效，实践中自适应方法（如 Adam）可进一步加速收敛。
• 该框架在保持理论保证的同时，实现了对精确评估不可行的大规模数据集的可扩展优化。
• Fenchel 共轭分析表明，多线性扩展的双共轭可恢复原函数，验证了基于对偶的方法的有效性。