[论文解读] Provable Submodular Minimization using Wolfe's Algorithm

Deeparnab Chakrabarty, Prateek Jain+1 more|arXiv (Cornell University)|Nov 1, 2014

Complexity and Algorithms in Graphs参考文献 20被引用 32

一句话总结

本文首次对Wolfe算法在子模函数最小化（SFM）中的收敛性提供了可证明的分析，表明其在$t$次迭代内可达到$O(1/t)$-近似解。此外，本文证明了Fujishige定理的一个鲁棒版本，表明在基多面体上找到一个$O(1/n^2)$-近似最小范数点即可实现精确的SFM，从而首次为Fujishige-Wolfe算法提供了伪多项式时间保证，其运行时间上界为$O((n^5\mathrm{EO}+n^7)F^2)$。

ABSTRACT

Owing to several applications in large scale learning and vision problems, fast submodular function minimization (SFM) has become a critical problem. Theoretically, unconstrained SFM can be performed in polynomial time [IFF 2001, IO 2009]. However, these algorithms are typically not practical. In 1976, Wolfe proposed an algorithm to find the minimum Euclidean norm point in a polytope, and in 1980, Fujishige showed how Wolfe's algorithm can be used for SFM. For general submodular functions, this Fujishige-Wolfe minimum norm algorithm seems to have the best empirical performance. Despite its good practical performance, very little is known about Wolfe's minimum norm algorithm theoretically. To our knowledge, the only result is an exponential time analysis due to Wolfe himself. In this paper we give a maiden convergence analysis of Wolfe's algorithm. We prove that in $t$ iterations, Wolfe's algorithm returns an $O(1/t)$-approximate solution to the min-norm point on {\em any} polytope. We also prove a robust version of Fujishige's theorem which shows that an $O(1/n^2)$-approximate solution to the min-norm point on the base polytope implies {\em exact} submodular minimization. As a corollary, we get the first pseudo-polynomial time guarantee for the Fujishige-Wolfe minimum norm algorithm for unconstrained submodular function minimization.

研究动机与目标

• 填补Wolfe算法收敛行为理论理解上的空白，该算法在实践中表现良好但缺乏理论保证。
• 为Wolfe算法在求解多面体上最小范数点问题时提供可证明的收敛速率，而该问题在子模函数最小化中是一个关键子程序。
• 建立Fujishige定理的鲁棒版本，将近似最小范数点与近似子模最小化联系起来，从而在求解过程中实现误差界。
• 推导出Fujishige-Wolfe算法在无约束子模函数最小化问题上的首个伪多项式时间复杂度上界。
• 通过提供依赖于函数参数（如$F$）的正式运行时间保证，调和Fujishige-Wolfe算法的实验成功与理论分析之间的关系。

提出的方法

• 分析Wolfe算法在多面体中寻找最小范数点的过程，证明其在$t$次迭代内可达到最小范数点的$O(1/t)$-近似解。
• 引入一种新颖的误差分析方法，利用势函数追踪到最优解的平方距离，表明每次迭代中误差呈二次下降。
• 建立Fujishige定理的鲁棒版本：若点$x$满足对所有$z$在基多面体中都有$\|x\|_2^2 \leq z^T x + \varepsilon^2$，则$f(S_x) \leq \min_S f(S) + 2n\varepsilon$，其中$S_x$可高效构造。
• 使用贪心算法在基多面体上最小化线性函数，从而实现Wolfe算法在实际中的高效实现。
• 将Wolfe算法的收敛速率与鲁棒的Fujishige定理相结合，推导出SFM的伪多项式时间上界。
• 定义$F = \max_i \left( |f(\{i\})|, |f([n]) - f([n]\setminus i)| \right) $作为运行时间分析中的关键参数，反映函数值在任一元素上的最大边际变化。

实验结果

研究问题

• RQ1 Wolfe算法在多面体上寻找最小范数点的收敛速率是什么？
• RQ2 能否利用基多面体上最小范数点问题的近似解，来获得子模函数最小化的可证明良好解？
• RQ3 Fujishige-Wolfe算法在无约束子模函数最小化问题上的首个可证明伪多项式时间复杂度上界是什么？
• RQ4 Fujishige-Wolfe算法的实验性能与Iwata-Orlin等可证明多项式时间算法相比如何，特别是在对$F$的依赖性方面？
• RQ5 能否证明Fujishige定理的鲁棒版本，以将近似最小范数点与具有可量化误差界的近似子模最小化联系起来？

主要发现

• Wolfe算法在$t$次迭代内可收敛至任意多面体上最小范数点的$O(1/t)$-近似解，达到$\varepsilon$-精度所需的迭代次数上界为$O(nQ^2 / \varepsilon)$，其中$Q$是多面体中任意点的最大$\ell_2$-范数。
• 证明了Fujishige定理的鲁棒版本：若$x$满足对所有$z \in \mathcal{B}_f$都有$\|x\|_2^2 \leq z^T x + \varepsilon^2$，则$f(S_x) \leq \min_S f(S) + 2n\varepsilon$，其中$S_x$可在多项式时间内构造。
• 无约束子模函数最小化的Fujishige-Wolfe算法运行时间为$O((n^5\mathrm{EO} + n^7)F^2)$，其中$F$是函数在任一元素上的最大绝对边际变化。
• 实验结果表明，当$F$呈指数增长时，Fujishige-Wolfe算法的迭代次数保持恒定，表明其在实际中对$F$的依赖性极弱。
• 尽管在理论上的$n$和$F$依赖性劣于Iwata-Orlin算法，Fujishige-Wolfe算法在标准基准测试（如s-t最小割和Iwata的三组函数）中仍表现出优于Iwata-Orlin算法的实验性能。
• 该分析首次为Fujishige-Wolfe算法建立了伪多项式时间保证，解决了长期存在的关于其实际成功背后理论机制的空白。