[论文解读] Scale-Invariant Feature Learning using Deconvolutional Neural Networks for Weakly-Supervised Semantic Segmentation.

Hyoeun Kim, Sangheum Hwang|arXiv (Cornell University)|Feb 16, 2016

Advanced Chemical Sensor Technologies参考文献 29被引用 13

一句话总结

本文提出了一种使用权重共享反卷积神经网络的尺度不变特征学习框架，用于弱监督语义分割。通过结合跳跃连接与反卷积并采用权重共享，该方法重建了具有判别性的特征，从而减少了误报，实现了在 PASCAL VOC 上的最先进性能，以及在仅使用图像级别标签的情况下，在胸部 X 光片病灶分割任务中取得优异结果。

ABSTRACT

A weakly-supervised semantic segmentation framework with a tied deconvolutional neural network is presented. Each deconvolution layer in the framework consists of unpooling and deconvolution operations. 'Unpooling' upsamples the input feature map based on unpooling switches defined by corresponding convolution layer's pooling operation. 'Deconvolution' convolves the input unpooled features by using convolutional weights tied with the corresponding convolution layer's convolution operation. The unpooling-deconvolution combination helps to eliminate less discriminative features in a feature extraction stage, since output features of the deconvolution layer are reconstructed from the most discriminative unpooled features instead of the raw one. This results in reduction of false positives in a pixel-level inference stage. All the feature maps restored from the entire deconvolution layers can constitute a rich discriminative feature set according to different abstraction levels. Those features are stacked to be selectively used for generating class-specific activation maps. Under the weak supervision (image-level labels), the proposed framework shows promising results on lesion segmentation in medical images (chest X-rays) and achieves state-of-the-art performance on the PASCAL VOC segmentation dataset in the same experimental condition.

研究动机与目标

• 为解决仅使用图像级别标注的弱监督语义分割挑战，避免昂贵的像素级别标注。
• 通过从最具信息量的跳跃连接激活而非原始特征中重建特征，提升特征图中的特征判别能力。
• 通过在特征重建过程中强调判别性特征，减少像素级别预测中的误报。
• 通过堆叠多层反卷积层，生成丰富、多层次的特征表示，以提升类别特定激活图的生成效果。
• 在弱监督设置下，实现在 PASCAL VOC 等基准数据集上的最先进性能，以及在医学影像（胸部 X 光片）中的表现。

提出的方法

• 该框架采用权重共享的反卷积神经网络架构，其中每个反卷积层先执行跳跃连接，再执行反卷积操作。
• 跳跃连接利用对应卷积层中池化操作的开关信息对特征图进行上采样，从而保留空间结构。
• 反卷积操作应用转置卷积滤波器，其权重与对应卷积层共享，确保特征重建的一致性。
• 跳跃连接-反卷积组合从最具判别性的激活中重建特征，抑制不具信息量或噪声较大的特征。
• 多层反卷积生成不同抽象层次的特征图，这些特征图被堆叠以形成全面的判别性特征集合。
• 这些堆叠的特征被选择性地用于在图像级别监督下生成类别特定的激活图，实现像素级别分割。

实验结果

研究问题

• RQ1 权重共享的反卷积神经网络架构能否有效学习用于弱监督语义分割的尺度不变、判别性特征？
• RQ2 跳跃连接-反卷积机制是否通过聚焦最具信息量的特征激活，减少误报？
• RQ3 多层反卷积生成的堆叠特征图是否能在弱监督下提升分割精度？
• RQ4 在仅使用图像级别标签的条件下，该方法与最先进方法在 PASCAL VOC 等标准基准上的表现如何比较？
• RQ5 该框架能否在弱监督设置下泛化至医学影像任务，如胸部 X 光片中的病灶分割？

主要发现

• 所提出的框架在 PASCAL VOC 2012 语义分割基准上实现了最先进性能，且实验条件与先前工作保持一致。
• 该方法通过从最具判别性的跳跃连接特征中重建特征，显著减少了像素级别推理中的误报。
• 多层反卷积生成的堆叠特征图提供了丰富、多层次的表示，增强了类别特定激活图的生成效果。
• 该框架在医学图像分割任务中表现出色，实现了在胸部 X 光片中病灶定位的有前景结果。
• 反卷积层中使用权重共享确保了特征重建的一致性，并在不增加参数量的前提下提升了特征判别能力。