[论文解读] Structured learning of sum-of-submodular higher order energy functions

Alexander Fix, Thorsten Joachims+2 more|arXiv (Cornell University)|Sep 28, 2013

Advanced Neural Network Applications参考文献 28被引用 6

一句话总结

本文提出了计算机视觉中首个用于和-子模（SoS）高阶能量函数的判别式学习框架，采用结构化SVM与扩展切割平面算法，高效优化庞大的参数空间。该方法从训练数据中学习复杂且表达性强的先验，分割性能显著优于人工调参的基线方法（如GrabCut），在标准数据集上的平均错误率为7.3%。

ABSTRACT

Submodular functions can be exactly minimized in polynomial time, and the special case that graph cuts solve with max flow \cite{KZ:PAMI04} has had significant impact in computer vision \cite{BVZ:PAMI01,Kwatra:SIGGRAPH03,Rother:GrabCut04}. In this paper we address the important class of sum-of-submodular (SoS) functions \cite{Arora:ECCV12,Kolmogorov:DAM12}, which can be efficiently minimized via a variant of max flow called submodular flow \cite{Edmonds:ADM77}. SoS functions can naturally express higher order priors involving, e.g., local image patches; however, it is difficult to fully exploit their expressive power because they have so many parameters. Rather than trying to formulate existing higher order priors as an SoS function, we take a discriminative learning approach, effectively searching the space of SoS functions for a higher order prior that performs well on our training set. We adopt a structural SVM approach \cite{Joachims/etal/09a,Tsochantaridis/etal/04} and formulate the training problem in terms of quadratic programming; as a result we can efficiently search the space of SoS priors via an extended cutting-plane algorithm. We also show how the state-of-the-art max flow method for vision problems \cite{Goldberg:ESA11} can be modified to efficiently solve the submodular flow problem. Experimental comparisons are made against the OpenCV implementation of the GrabCut interactive segmentation technique \cite{Rother:GrabCut04}, which uses hand-tuned parameters instead of machine learning. On a standard dataset \cite{Gulshan:CVPR10} our method learns higher order priors with hundreds of parameter values, and produces significantly better segmentations. While our focus is on binary labeling problems, we show that our techniques can be naturally generalized to handle more than two labels.

研究动机与目标

• 解决计算机视觉中学习表达性强的高阶先验的挑战，超越成对势能的限制。
• 开发一种针对和-子模（SoS）函数的高效训练方法，该类函数可通过子模流最小化，但参数数量庞大。
• 将判别式学习应用于SoS函数，实现从训练数据中自动发现最优先验，而非人工调参。
• 将该方法推广至多标签分割任务，并在真实世界视觉数据集上验证其有效性。

提出的方法

• 将学习问题建模为结构化SVM与二次规划，实现SoS能量函数的大间隔训练。
• 使用扩展切割平面算法，在训练过程中高效搜索SoS函数空间。
• 采用子模流——一种最大流的变体——作为推理引擎，以最小化学习到的SoS能量函数。
• 将一元势能与高阶团势能整合到统一的学习框架中，实现所有参数的联合优化。
• 对2×2图像块的梯度响应进行k-means聚类，以定义高阶先验的子模团函数。
• 将基于IBFS的最大流算法改进，以在实际中高效求解子模流问题。

实验结果

研究问题

• RQ1 判别式学习能否有效应用于视觉结构预测中的和-子模（SoS）高阶能量函数？
• RQ2 从数据中学习SoS先验是否优于像GrabCut这样的人工调参、固定势能模型的图像分割性能？
• RQ3 所提出的方法能否在保持训练与推理可 tractable 的前提下，高效处理SoS函数庞大的参数空间？
• RQ4 该框架能否推广至二值化之外的多标签分割任务？

主要发现

• 所提出的S3SVM方法在测试集上实现了7.3%的平均像素错误率，显著优于OpenCV GrabCut基线的10.6%。
• S3SVM-AMN（仅使用成对势能的特例）将错误率降低至7.5%，证明了学习优于人工调参的优势。
• 完整S3SVM模型的训练时间为92,000秒，单张图像的推理时间为1.67秒，表明其具备可扩展性。
• 该方法学习到约400个一元特征权重和每2×2块50个子模团势能，实现了丰富且数据驱动的先验。
• 视觉结果表明，与基线相比，分割结果更清晰，伪影更少，尤其在复杂纹理和边界区域表现更优。
• 在7类数据集上的初步多标签分割结果表明，该方法可推广至二值化之外的任务。