[论文解读] PixelNet: Representation of the pixels, by the pixels, and for the pixels

Aayush Bansal, Xinlei Chen+3 more|arXiv (Cornell University)|Feb 21, 2017

Advanced Neural Network Applications参考文献 87被引用 93

一句话总结

PixelNet 提出对像素进行采样并在超列特征上使用多层感知机（MLP）来学习多样且非线性的逐像素预测模型，在分割、表面法线估计和边缘检测等任务上达到最先进的结果。

ABSTRACT

We explore design principles for general pixel-level prediction problems, from low-level edge detection to mid-level surface normal estimation to high-level semantic segmentation. Convolutional predictors, such as the fully-convolutional network (FCN), have achieved remarkable success by exploiting the spatial redundancy of neighboring pixels through convolutional processing. Though computationally efficient, we point out that such approaches are not statistically efficient during learning precisely because spatial redundancy limits the information learned from neighboring pixels. We demonstrate that stratified sampling of pixels allows one to (1) add diversity during batch updates, speeding up learning; (2) explore complex nonlinear predictors, improving accuracy; and (3) efficiently train state-of-the-art models tabula rasa (i.e., "from scratch") for diverse pixel-labeling tasks. Our single architecture produces state-of-the-art results for semantic segmentation on PASCAL-Context dataset, surface normal estimation on NYUDv2 depth dataset, and edge detection on BSDS.

研究动机与目标

• 在低层次、中层和高层任务的广泛像素密集预测问题中，为通用设计提供动机。
• 研究卷积学习在统计效率与计算效率之间的权衡。
• 证明稀疏像素采样可以加速学习并实现超越线性跳跃连接的非线性预测。
• Demonstrate that pixel-level optimization can train models from scratch without large-scale pretraining.
• 建立一个在分割、法线和边缘检测上都具备强性能的单一体系结构。

提出的方法

• 用多尺度 CNN 特征形成的像素超列描述符 h_p 进行表征。
• 通过端到端的 SGD 训练，用非线性 MLP g(h_p) 预测每个像素的输出。
• 在测试时通过 1x1 MLP 和按需特征插值高效计算密集的超列。
• 对每张图像以小且多样化的已采样像素集合来训练，以形成信息丰富的 mini-batch。
• 演示按需计算与逐步上采样（反卷积）的内存效率对比。
• 探索采样策略，包括均匀采样和偏向采样，以应对类别不平衡（如边缘）。

实验结果

研究问题

• RQ1 稀疏像素采样是否能为跨任务的像素预测学习提供足够的梯度信息？
• RQ2 用基于超列特征的非线性 MLP 替代线性跳跃连接是否可提升准确性并实现从零开始的端到端训练？
• RQ3 是否可以在没有 ImageNet 预训练的情况下，通过像素级优化训练出具有竞争力的模型？
• RQ4 哪些架构和采样选择能够在分割、法线和边缘的密集像素预测中最大化效率与准确性？

主要发现

• 由于像素间的空间相关性，单张图像少量像素即可学习，从而通过多样化的小批量实现更快的 SGD。
• 对超列特征的非线性 MLP 比线性预测器表现更好，尤其在将批标准化应用于线性模型时，但对 MLP 来说并不需要。
• 按需计算超列特征在内存方面远比密集上采样（反卷积）高效，同时保持性能。
• 结合批量归一化，PixelNet 可以从随机高斯初始化开始从头训练，在多项任务中实现了具有竞争力的结果。
• 该方法在语义分割（PASCAL-Context）、表面法线（NYUDv2）和边缘检测（BSDS-500）上取得了最先进的结果。
• 偏向正样本的采样提升了边缘检测性能，在 BSDS 上达到人类水平的 F 分数。