[论文解读] Not All Pixels Are Equal: Difficulty-aware Semantic Segmentation via Deep Layer Cascade

Xiaoxiao Li, Ziwei Liu+3 more|arXiv (Cornell University)|Apr 5, 2017

Advanced Neural Network Applications参考文献 13被引用 25

一句话总结

本文提出 Deep Layer Cascade (LC)，一种难度感知的语义分割框架，将单一深度网络视为一系列子模型的级联，其中早期阶段处理简单、高置信度的像素，而逐步将更难的区域传递给更深的阶段。通过仅在模糊区域集中计算，LC 在 PASCAL VOC 和 Cityscapes 上实现了最先进 mIoU，同时显著加速推理（例如，VOC12 上达到 14.3 FPS），优于 DeepLab-v2（速度快 15 倍，准确率损失仅 1.5%）。

ABSTRACT

We propose a novel deep layer cascade (LC) method to improve the accuracy and speed of semantic segmentation. Unlike the conventional model cascade (MC) that is composed of multiple independent models, LC treats a single deep model as a cascade of several sub-models. Earlier sub-models are trained to handle easy and confident regions, and they progressively feed-forward harder regions to the next sub-model for processing. Convolutions are only calculated on these regions to reduce computations. The proposed method possesses several advantages. First, LC classifies most of the easy regions in the shallow stage and makes deeper stage focuses on a few hard regions. Such an adaptive and 'difficulty-aware' learning improves segmentation performance. Second, LC accelerates both training and testing of deep network thanks to early decisions in the shallow stage. Third, in comparison to MC, LC is an end-to-end trainable framework, allowing joint learning of all sub-models. We evaluate our method on PASCAL VOC and Cityscapes datasets, achieving state-of-the-art performance and fast speed.

研究动机与目标

• 解决深度语义分割模型计算成本过高的问题，以支持实时部署。
• 通过使更深的网络阶段专注于难以分类的区域，而非冗余的简单像素，提升分割准确率。
• 通过早期拒绝高置信度预测来减少卷积计算，从而加速训练与推理。
• 设计一个端到端可训练的级联框架，联合优化所有阶段，不同于传统模型级联中固定早期阶段的做法。
• 在 PASCAL VOC 和 Cityscapes 等多样化数据集上展示泛化能力，且仅需极少的架构修改。

提出的方法

• 该方法将单一深度网络分解为多个子模型的级联，每个子模型对应网络的一层或一个阶段。
• 在每个阶段，对高置信度（例如，>95% softmax 分数）的像素进行拒绝，不再进一步处理，而将不确定或困难的像素传递至下一阶段。
• 仅对困难区域（中等难度和极难集合）由深层阶段处理，通过区域级卷积减少计算负载。
• 该框架支持端到端训练，允许所有阶段联合优化，以改善特征学习与分割准确率。
• 通过将骨干网络（如 IRNet、ResNet）的架构适配为逐层级联结构，将该方法应用于多种主干网络。
• 通过在深层阶段集中监督困难区域，隐式应用难度感知损失策略，减少在模糊边界上的过拟合。

实验结果

研究问题

• RQ1 级联的深度网络架构是否能通过使深层网络专注于困难区域来提升语义分割准确率？
• RQ2 在训练和推理过程中，是否可通过早期拒绝高置信度像素来降低计算成本，同时不损失准确率？
• RQ3 端到端可训练的级联框架是否能超越传统模型级联方法（后者在训练中固定早期阶段）？
• RQ4 该难度感知级联机制在 PASCAL VOC 和 Cityscapes 等多样化数据集上的泛化能力如何？
• RQ5 与 DeepLab-v2 和 CRF-RNN 等最先进模型相比，该方法在速度-准确率权衡方面表现如何？

主要发现

• 在 PASCAL VOC 2012 测试集上，IRNet-LC 达到 80.3% 的 mIoU，推理速度为 1.0 FPS，优于未使用 COCO 预训练或 CRF 后处理的 CRF-RNN（74.7%）和 DPN（77.5%）。
• IRNet-LC 在 VOC12 上实现 14.3 FPS 的推理速度，mIoU 仅比 DeepLab-v2（79.7%）低 1.5%，实现 15 倍速度提升，同时保持了具有竞争力的准确率。
• 在 Cityscapes 上，LC 达到 71.1% 的 mIoU，展现出在多样化场景和物体类别中的强大泛化能力。
• 该方法通过早期阶段拒绝至少 40% 的像素，因为每类物体约 30% 的像素被以 >95% 的置信度分类，尤其在背景区域更为明显。
• LC 在传统上较难的类别（如 'fence'、'pole'、'sign'、'truck'、'bus' 和 'bike'）上优于最先进方法，这些类别具有细粒度或形状多变的特点。
• 可视化对比显示，LC 在边界区域（高模糊性区域）生成的分割图比 DPN 和 DeepLab-v2 更准确、更一致。