[论文解读] PixelNet: Towards a General Pixel-level Architecture

Aayush Bansal, Xinlei Chen+3 more|arXiv (Cornell University)|Sep 21, 2016

CCD and CMOS Imaging Sensors参考文献 61被引用 55

一句话总结

PixelNet 提出了一种通用的像素级架构，通过在训练过程中使用分层采样策略对像素进行采样，提升了深度学习中的统计效率，使模型能够在多尺度特征上使用更深、更非线性的预测器。该方法在语义分割（PASCAL-Context）、表面法线估计（NYUDv2）和边缘检测（BSDS）任务上均取得了当前最优性能，且无需上下文后处理。

ABSTRACT

We explore architectures for general pixel-level prediction problems, from low-level edge detection to mid-level surface normal estimation to high-level semantic segmentation. Convolutional predictors, such as the fully-convolutional network (FCN), have achieved remarkable success by exploiting the spatial redundancy of neighboring pixels through convolutional processing. Though computationally efficient, we point out that such approaches are not statistically efficient during learning precisely because spatial redundancy limits the information learned from neighboring pixels. We demonstrate that (1) stratified sampling allows us to add diversity during batch updates and (2) sampled multi-scale features allow us to explore more nonlinear predictors (multiple fully-connected layers followed by ReLU) that improve overall accuracy. Finally, our objective is to show how a architecture can get performance better than (or comparable to) the architectures designed for a particular task. Interestingly, our single architecture produces state-of-the-art results for semantic segmentation on PASCAL-Context, surface normal estimation on NYUDv2 dataset, and edge detection on BSDS without contextual post-processing.

研究动机与目标

• 为解决全卷积网络（FCNs）在学习高度相关像素数据时存在的统计效率低下问题。
• 通过单一统一架构提升模型在多样化像素级预测任务（从低层次任务如边缘检测到高层次任务如语义分割）上的性能。
• 探索在训练深度网络时，通过卷积处理实现计算效率与通过多样化采样实现统计效率之间的权衡。
• 通过稀疏采样降低内存与计算成本，使模型能够在多尺度特征上使用更深、更非线性的预测器（多层全连接网络）。
• 证明单一架构可在无需后处理或任务特定设计的前提下，超越任务专用模型的性能。

提出的方法

• 在每次SGD批量更新时，使用分层采样从每张图像中选取少量且多样化的像素，提升统计独立性与学习效率。
• 应用卷积处理从输入图像中提取多尺度特征，保持空间不变性与计算效率。
• 在采样的多尺度特征上应用非线性预测器（多层全连接层，激活函数为ReLU），以实现比线性预测器更复杂的决策边界。
• 实现按需计算稀疏特征预测，相比全卷积推理，显著降低了训练过程中的内存与时间开销。
• 采用有偏采样策略（如提高正样本比例），以应对边缘检测等任务中正样本稀少的类别不平衡数据集。
• 应用梯度归一化与学习率调度策略以稳定训练，尤其在类别不平衡场景下表现更优。

实验结果

研究问题

• RQ1 单一深度学习架构是否能在无需任务特定架构修改的前提下，跨多样化像素级预测任务实现最先进性能？
• RQ2 尽管卷积网络依赖空间冗余，但在训练过程中对像素进行分层采样是否能提升其统计效率？
• RQ3 在基于超列的架构中，多尺度特征上的非线性预测器是否能优于线性预测器？
• RQ4 按需稀疏采样在在多大程度上可降低计算成本，同时保持或提升模型准确率？
• RQ5 针对稀有类别（如边缘）采用有偏采样，与均匀采样相比，对模型性能有何影响？

主要发现

• PixelNet 在语义分割任务上实现了最先进性能，且无需上下文后处理，在 PASCAL-Context 数据集上刷新了当前最先进记录。
• 在边缘检测任务（BSDS）上，模型表现具有竞争力，尤其在识别斑马、老鹰等物体轮廓方面，优于 HED 系统。
• 在 NYUDv2 数据集的表面法线估计任务中，PixelNet 的性能与之前工作 [4] 报道的结果相当或更优，证明其在中层任务上的泛化能力。
• 在多尺度特征上使用非线性预测器（多层全连接网络）显著提升了准确率，尤其在结合分层采样时效果更明显。
• 对正样本（如边缘）采用有偏采样（如正样本比例达75%）可带来可测量的性能增益，证实了在类别不平衡场景下采用类别感知采样策略的有效性。
• 该架构具有良好的泛化能力：单一模型在低层次（边缘）、中层次（法线）和高层次（语义）任务上均达到最先进或接近最先进性能，验证了其通用性与鲁棒性。