[论文解读] SemiContour: A Semi-supervised Learning Approach for Contour Detection

Zizhao Zhang, Fuyong Xing+2 more|arXiv (Cornell University)|May 17, 2016

Industrial Vision Systems and Defect Detection参考文献 30被引用 13

一句话总结

该论文提出SemiContour，一种用于轮廓检测的半监督结构化集成学习方法，通过稀疏表示将未标记图像块嵌入到判别性低维子空间中，从而在仅使用三张标记图像的情况下实现结构化随机森林（SRF）中的有效节点分裂。该方法在BSDS500和NYU Depth数据集上达到最先进性能，优于在数百张图像上训练的完全监督方法。

ABSTRACT

Supervised contour detection methods usually require many labeled training images to obtain satisfactory performance. However, a large set of annotated data might be unavailable or extremely labor intensive. In this paper, we investigate the usage of semi-supervised learning (SSL) to obtain competitive detection accuracy with very limited training data (three labeled images). Specifically, we propose a semi-supervised structured ensemble learning approach for contour detection built on structured random forests (SRF). To allow SRF to be applicable to unlabeled data, we present an effective sparse representation approach to capture inherent structure in image patches by finding a compact and discriminative low-dimensional subspace representation in an unsupervised manner, enabling the incorporation of abundant unlabeled patches with their estimated structured labels to help SRF perform better node splitting. We re-examine the role of sparsity and propose a novel and fast sparse coding algorithm to boost the overall learning efficiency. To the best of our knowledge, this is the first attempt to apply SSL for contour detection. Extensive experiments on the BSDS500 segmentation dataset and the NYU Depth dataset demonstrate the superiority of the proposed method.

研究动机与目标

• 解决监督轮廓检测中标签数据有限的问题，因为获取大规模标注数据集成本高且耗时长。
• 探索半监督学习（SSL）在轮廓检测中的可行性与有效性，该领域此前尚未在此背景下被探索。
• 通过无监督稀疏表示引入未标记图像块，改进结构化随机森林（SRF）中的节点分裂。
• 开发一种快速高效的稀疏编码算法，使该方法能够扩展到大规模数据集，同时保持高精度。
• 通过利用来自不同领域（如结合NYU Depth和BSDS500数据）的未标记数据，展示强大的泛化能力。

提出的方法

• 提出一种基于结构化随机森林（SRF）的半监督结构化集成学习框架，其中未标记块（u-tokens）用于在仅有少量标记块（l-tokens）的情况下改进节点分裂。
• 引入一种无监督稀疏表示技术，以学习图像块的紧凑判别性低维子空间嵌入，从而在SRF训练中有效利用未标记数据。
• 应用一种新型快速稀疏编码算法，高效计算稀疏编码，其时间复杂度主要由O(d·V)主导，其中d为特征维度，V为词典大小。
• 利用SRF的最大间隔特性，动态估计树节点内u-tokens的结构化标签，增强决策边界学习。
• 使用u-tokens的估计结构化标签来指导SRF中内部节点的分裂，提升在有限标记数据下的泛化能力并减少过拟合。
• 将稀疏表示与标签估计过程直接集成到SRF训练流程中，实现端到端学习，仅需极少监督。

实验结果

研究问题

• RQ1 半监督学习能否有效应用于轮廓检测，尤其是在标签数据稀缺的情况下？
• RQ2 未标记图像块能否被有意义地整合到结构化随机森林中，以改进节点分裂和检测精度？
• RQ3 通过无监督稀疏表示学习判别性低维子空间，能否在极少标签数据下提升轮廓检测性能？
• RQ4 能否设计一种快速稀疏编码算法，使该方法可扩展至大规模数据集而不损失精度？
• RQ5 当在训练中使用来自不同数据集（如NYU Depth）的未标记数据时，该方法在跨领域设置下是否具有良好的泛化能力？

主要发现

• 仅使用三张标记图像，SemiContour的检测性能即可与在数百张图像上训练的完全监督方法相媲美或更优。
• 在BSDS500数据集上，SemiContour使用10张标记图像的性能优于在10张图像上训练的监督SRF（SE-Var），并达到在全部381张图像上训练的完全监督模型的性能水平。
• 在NYU Depth数据集上，SemiContour仅使用10张标记图像即达到ODS = 0.68、OIS = 0.70和AP = 0.69，优于在相同数据上训练的监督基线方法。
• 在跨数据集泛化设置中，使用BSDS500作为未标记数据时，SemiContour在NYUD上实现ODS = 0.73和OIS = 0.75，优于SE-Var在两种设置下的表现。
• 所提出的快速稀疏编码算法显著快于OMP、Batch-OMP和Batch-OMP-fast，尤其在测试样本数量增加时优势更明显，同时保持同等检测精度。
• 该方法在引入来自不同领域（如将室内NYU场景的未标记块用于室外BSDS500训练）的未标记块时，仍表现出强鲁棒性和抗噪声能力。