[论文解读] On the Convergence Rate of Decomposable Submodular Function Minimization

Robert Nishihara, Stefanie Jegelka+1 more|arXiv (Cornell University)|Jun 25, 2014

Complexity and Algorithms in Graphs参考文献 26被引用 14

一句话总结

该论文首次对用于可分解次模函数最小化问题的交替投影算法进行了理论收敛速率分析。论文证明了线性收敛性，并给出了收敛速率的显式上下界，利用次模多面体几何与谱图理论，解决了先前经验性研究遗留的开放问题。

ABSTRACT

Submodular functions describe a variety of discrete problems in machine learning, signal processing, and computer vision. However, minimizing submodular functions poses a number of algorithmic challenges. Recent work introduced an easy-to-use, parallelizable algorithm for minimizing submodular functions that decompose as the sum of "simple" submodular functions. Empirically, this algorithm performs extremely well, but no theoretical analysis was given. In this paper, we show that the algorithm converges linearly, and we provide upper and lower bounds on the rate of convergence. Our proof relies on the geometry of submodular polyhedra and draws on results from spectral graph theory.

研究动机与目标

• 为可分解次模函数最小化中经验上成功的交替投影算法提供理论依据。
• 在次模最优逼近问题的背景下，建立该算法的线性收敛速率。
• 利用几何与谱分析，推导最坏情况下收敛速率的紧致上下界。
• 弥合并行、可扩展次模优化中经验性能与理论理解之间的差距。

提出的方法

• 将次模函数最小化问题表述为两个凸集之间的最优逼近问题：基多面体与负基多面体。
• 通过在这些凸集之间交替投影来求解最优逼近问题。
• 利用洛瓦兹扩展将离散问题提升至连续凸优化框架。
• 通过次模多面体之间的弗里德里希斯角分析收敛性，将其与相关图的谱性质关联。
• 利用次模多面体的几何性质与谱图理论结果，推导收敛速率的界。
• 证明收敛速率在所有可分解次模函数下均一致远离1，从而确保线性收敛。

实验结果

研究问题

• RQ1 可分解次模函数最小化问题中，交替投影算法的理论收敛速率是多少？
• RQ2 最坏情况下，收敛速率能否被上下界所限定？
• RQ3 次模多面体的几何结构如何影响基于投影的算法的收敛行为？
• RQ4 谱图理论能否用于根据函数分解的结构特性表征收敛速率？
• RQ5 连续松弛问题与离散次模最小化问题中，线性收敛性是否均成立？

主要发现

• 交替投影算法在可分解次模函数最小化中呈线性收敛，收敛速率被限制在 $ (1 - \frac{1}{N^2 R^2})^k $ 以内，其中 $ N $ 为基集大小，$ R $ 为简单次模函数的数量。
• 收敛速率的上界为 $ O((1 - \frac{1}{N^2 R^2})^k) $，并建立了匹配的下界，表明该速率在最坏情况下是紧致的。
• 连续松弛中的对偶间隙转化为离散误差界 $ O((1 - \frac{1}{2N^2 R^2})^k) $，从而保证了离散问题的线性收敛性。
• 收敛速率一致远离1，确保了不依赖于特定函数结构的有限时间收敛保证。
• 达到 $ \tilde{O}(\frac{1}{\text{accuracy}}) $ 精度的运行时间为 $ O(N^2 R^2 \text{polylog}(1/\text{accuracy})) $，相比子梯度方法的 $ O(1/\text{accuracy}^2) $ 依赖关系具有改进。
• 分析表明，收敛速率由次模多面体的几何结构与底层图的谱性质所决定，为算法设计提供了超越性的新见解。