[论文解读] Relaxed Multiple-Instance SVM with Application to Object Discovery

Xinggang Wang, Zhuotun Zhu+2 more|arXiv (Cornell University)|Oct 5, 2015

Image Retrieval and Classification Techniques参考文献 30被引用 15

一句话总结

该论文提出了一种新型的凸优化框架——松弛多重实例支持向量机（RMI-SVM），将实例标签视为连续变量，并通过噪声或（Noisy-OR）模型施加MIL约束，从而利用随机梯度下降实现袋标签与实例标签的联合学习。该方法在Pascal VOC 2007弱监督目标发现任务中达到最先进性能，相较于以往的MIL方法及现有的目标发现方法，在准确率与效率方面均表现更优。

ABSTRACT

Multiple-instance learning (MIL) has served as an important tool for a wide range of vision applications, for instance, image classification, object detection, and visual tracking. In this paper, we propose a novel method to solve the classical MIL problem, named relaxed multiple-instance SVM (RMI-SVM). We treat the positiveness of instance as a continuous variable, use Noisy-OR model to enforce the MIL constraints, and jointly optimize the bag label and instance label in a unified framework. The optimization problem can be efficiently solved using stochastic gradient decent. The extensive experiments demonstrate that RMI-SVM consistently achieves superior performance on various benchmarks for MIL. Moreover, we simply applied RMI-SVM to a challenging vision task, common object discovery. The state-of-the-art results of object discovery on Pascal VOC datasets further confirm the advantages of the proposed method.

研究动机与目标

• 解决传统MIL方法将实例选择与模型学习视为独立、迭代过程的局限性。
• 克服现有MIL算法中EM风格优化的低效与不稳定性问题。
• 在统一的、可微分的框架中实现袋级与实例级标签的联合优化。
• 开发一种可扩展且鲁棒的方法，仅使用图像级标签实现弱监督下的目标发现。
• 在显著缩短训练时间的前提下，实现目标发现任务的最先进性能，相较以往方法有显著提升。

提出的方法

• 将MIL中离散实例标签约束松弛为连续变量，将组合优化问题转化为凸优化问题。
• 采用噪声或（Noisy-OR）形式化建模MIL约束，使得只要至少一个实例为正，正袋即可被标记为正。
• 构建目标函数，联合优化袋标签与实例标签，采用带松弛项的线性SVM分类器，以惩罚误报。
• 利用随机梯度下降（SGD）高效求解优化问题，每次迭代处理一个袋，从而降低计算成本。
• 在目标发现流程中集成深度卷积神经网络（DCNN）特征用于目标提议，并使用Edgebox生成候选区域。
• 迭代应用RMI-SVM框架，从随机初始化开始逐步优化目标位置预测，利用图像级标签提供的弱监督信号。

实验结果

研究问题

• RQ1 与传统EM风格MIL方法相比，MIL的松弛凸公式是否能同时提升优化效率与性能？
• RQ2 通过SGD实现实例与袋标签的联合优化，相较于MIL中分离的实例选择与模型学习过程，效果如何？
• RQ3 RMI-SVM在Pascal VOC 2007等弱监督基准上的目标发现性能可提升至何种程度？
• RQ4 噪声或模型是否能有效施加MIL约束，同时保持对背景杂波与误报的鲁棒性？
• RQ5 RMI-SVM的训练速度与收敛性相较于传统miSVM及其他EM-based MIL算法表现如何？

主要发现

• 在Pascal VOC 2006-all上，RMI-SVM取得53%的CorLoc分数，在Pascal VOC 2007-all上达到37%，显著优于miSVM的30%与20%。
• 在Pascal VOC 2007-all上，RMI-SVM将训练时间缩短至854秒，为miSVM（4300秒）的五分之一。
• RMI-SVM在初始化敏感性方面表现出更强鲁棒性，并在仅有少量提议区域时仍具备更优泛化能力。
• 噪声或模型有效惩罚了误报，使RMI-SVM能更好地区分真实目标提议与背景窗口。
• 相较于仅使用Edgebox，RMI-SVM在提议数少于100个时显著提升了检测性能，得益于有效的弱监督信号学习。
• 该方法具有良好的泛化能力，可拓展至视觉跟踪、图像分类及基于部件的目标检测等任务。