[论文解读] Semantic Image Segmentation via Deep Parsing Network

Ziwei Liu, Xiaoxiao Li+3 more|arXiv (Cornell University)|Sep 9, 2015

Advanced Neural Network Applications参考文献 45被引用 180

一句话总结

本文提出深度解析网络（DPN），一种新颖的端到端卷积神经网络，通过在马尔可夫随机场（MRF）中统一一元项与成对项，实现语义图像分割。通过使用学习到的卷积层在单次前向传播中近似平均场推理，DPN 在 PASCAL VOC 2012 上实现了 77.5% 的 mIoU，且在反向传播过程中无需迭代 MRF 推理，达到当前最先进水平。

ABSTRACT

This paper addresses semantic image segmentation by incorporating rich information into Markov Random Field (MRF), including high-order relations and mixture of label contexts. Unlike previous works that optimized MRFs using iterative algorithm, we solve MRF by proposing a Convolutional Neural Network (CNN), namely Deep Parsing Network (DPN), which enables deterministic end-to-end computation in a single forward pass. Specifically, DPN extends a contemporary CNN architecture to model unary terms and additional layers are carefully devised to approximate the mean field algorithm (MF) for pairwise terms. It has several appealing properties. First, different from the recent works that combined CNN and MRF, where many iterations of MF were required for each training image during back-propagation, DPN is able to achieve high performance by approximating one iteration of MF. Second, DPN represents various types of pairwise terms, making many existing works as its special cases. Third, DPN makes MF easier to be parallelized and speeded up in Graphical Processing Unit (GPU). DPN is thoroughly evaluated on the PASCAL VOC 2012 dataset, where a single DPN model yields a new state-of-the-art segmentation accuracy.

研究动机与目标

• 解决基于深度学习的语义分割中迭代 MRF 推理效率低下的问题。
• 通过可微分的端到端框架，将高阶关系与标签上下文混合整合到 MRF 成对势函数中。
• 通过单次前向传播近似平均场推理，消除反向传播过程中对循环或迭代 MRF 推理的需求。
• 通过将 MRF 建模为卷积操作，实现高效、可并行化且支持 GPU 加速的推理。
• 在保持计算效率的同时，实现在 PASCAL VOC 2012 上的最先进性能。

提出的方法

• 扩展 VGG-16 架构，利用预训练 ImageNet 权重提取的特征来建模一元项。
• 引入额外的卷积层与池化层，用于在 MRF 中近似成对项的平均场推理。
• 通过可学习的感受野，建模复杂的成对势函数，包括高阶关系与标签上下文混合。
• 将 MRF 推理形式化为确定性、可微分的单次前向计算，避免反向传播过程中的迭代优化。
• 采用低秩近似与 GPU 友好的操作，加速推理并支持并行化。
• 通过反向传播端到端联合训练整个网络，同时优化一元项与成对项。

实验结果

研究问题

• RQ1 在深度学习框架中，能否在单次前向传播内有效近似 MRF 的平均场推理？
• RQ2 将高阶关系与标签上下文混合整合到成对势函数中，对分割精度有何影响？
• RQ3 是否可通过统一的可微分网络架构替代迭代 MRF 推理，同时保持或提升性能？
• RQ4 一元项与成对项的联合学习对分割精度与计算效率有何影响？
• RQ5 DPN 在具有不同尺寸、形状与边界复杂度的对象类别上泛化能力如何？

主要发现

• DPN 使用单一模型在 PASCAL VOC 2012 测试集上实现了新的最先进 mIoU 水平，达到 77.5%。
• 与以往需要 10 次平均场或 RNN 推理迭代的方法相比，运行时间至少降低 10 倍。
• 联合训练显著提升了大多数物体类别（尤其是边界复杂或具有上下文依赖关系的类别）的性能。
• 通过像素级监督隐式建模图像级标签，方法实现了 96.4% 的高标签准确率。
• 按类别分析显示，小型物体（如鸟、猫、牛）在联合调优过程中常被舍弃，以提升整体平滑度与边界精度。
• 在训练后期，特别是对形状不规则的物体（如“bike”）而言，目标定位与边界感知能力显著增强。